P R É S E N TAT I O N D E C O N T R E - AT L A S D E
L’ I N T E L L I G E N C E A R T I F I C I E L L E
Où et comment l’intelligence artificielle est-elle fabriquée? Qui la finance et
qui sert-elle? À travers une série d’enquêtes approfondies, Kate Crawford
déploie une cartographie exhaustive de l’IA: ses coûts et ses impacts
environnementaux, sociaux et politiques.
L’IA n’a en fait pas grand-chose d’«artificiel». C’est une industrie vorace en
ressources naturelles, matérielles, logistiques et humaines. Et on peut se
demander si elle est vraiment «intelligente»: elle conserve les stigmates
indélébiles des premières bases de données qui l’ont alimentée, et perpétue
irrémédiablement toutes sortes de biais discriminatoires.
Développée et conçue sans contrôle ni évaluation, sans critères de justice ni
d’éthique, l’IA renforce la toute-puissance des géants de la tech et des
institutions qui l’adoptent. Elle est le reflet du pouvoir, l’expression d’un
nouveau colonialisme. Kate Crawford nous le démontre avec brio!
«Passionnant et fascinant.»
The New Yorker
«Un guide nécessaire pour l’avenir.»
The Financial Times
Pour en savoir plus sur
Kate Crawford
ou
Contre-atlas de l’intelligence
artificielle
, n’hésitez pas à vous rendre sur notre site
www.zulma.fr.
P R É S E N TAT I O N D E L’ A U T E U R
Née en 1976 en Australie, Kate Crawford est spécialiste des implications
sociales et politiques de l’intelligence artificielle. Fondatrice du AI Now
Institute à l’université de New York, elle inaugure en 2019 la chaire IA et
Justice sociale à l’École normale supérieure de Paris. Quand elle ne voyage pas
sur les traces de l’IA, Kate Crawford dézingue sur son compte Twitter les
articles de presse qui survendent un peu trop les intelligences artificielles.
Pour en savoir plus sur
Kate Crawford
ou
Contre-atlas de l’intelligence
artificielle
, n’hésitez pas à vous rendre sur notre site
www.zulma.fr.
P R É S E N TAT I O N D E S É D I T I O N S Z U L M A
Zulma propose un catalogue de littérature ouvert sur le monde (avec un design
unique, imaginé par David Pearson). Chaque livre est la promesse d’une vraie
découverte littéraire : des voix originales, fortes, et des fictions de tous
horizons. Mais il y a aussi une ligne plus secrète qui court de livre en livre, un
engagement au monde, politique, profond. C’est cette ligne que j’ai eu envie
de développer en proposant à Néhémy Pierre-Dahomey, romancier, jeune
chercheur-doctorant en philosophie, de diriger cette nouvelle collection
d’essais. Ensemble, nous proposerons un pendant réflexif au versant littéraire
du catalogue, en publiant des philosophes, intellectuels, historiens,
économistes qui proposent une analyse des grands enjeux contemporains
résolument décentrée. Et bien sûr, nous avons choisi de nous entourer
d’excellents traducteurs comme Cécile Wajsbrot, Dominique Vitalyos, Bee
Formentelli ou Laurent Bury, qui nous ont déjà rejoints.
Nous avons besoin de comprendre les changements du monde, besoin
d’analyses et d’alternatives nouvelles et audacieuses. Si la fiction tient ce rôle de
manière empathique, il nous faut également des outils de pensée structurants,
originaux, puissants tels que nous les proposent Timothy Morton dans
La
Pensée écologique
ou Pankaj Mishra dans
L’Âge de la colère
–deux essais qui nous
ont semblé essentiels pour ouvrir cette collection.
Si vous désirez en savoir davantage sur Zulma ou être régulièrement informé de
nos parutions, n’hésitez pas à nous écrire ou à consulter notre site.
www.zulma.fr
C O P Y R I G H T
La couverture de
Contre-atlas de l’intelligence artificielle
,
de Kate Crawford,
a été créée par David Pearson.
Titre original:
Atlas of AI
Avec le soutien du
www.centrenationaldulivre.fr
©2021by Kate Crawford.
Originally published by Yale University Press.
© Zulma, 2022, pour la traduction française.
ISBN: 979-10-387-0244-8
Ce livre numérique, destiné à un usage personnel, est pourvu d’un tatouage
numérique. Il ne peut être diffusé, reproduit ou dupliqué d’aucune manière
que ce soit, à l’exception d’extraits à destination d’articles ou de comptes
rendus.
K AT E C R AW F O R D
C O N T R E – AT L A S D E
L’ I N T E L L I G E N C E A R T I F I C I E L L E
LES COÛTS POLITIQUES, SOCIAUX ET
ENVIRONNEMENTAUX DE L’IA
Traduit de l’anglais (Australie)
par Laurent Bury
É D I T I O N S Z U L M A
Pour Elliott et Margaret
Introduction
LE CHEVAL LE PLUS INTELLIGENT AU MONDE
À la fin du XIXe siècle, l’Europe fut captivée par un cheval nommé Hans.
«Hans le Malin» était en effet un prodige: il savait résoudre des problèmes de
mathématiques, dire l’heure, reconnaître les jours sur un calendrier, distinguer
des notes de musique et épeler des mots et des phrases. On venait en foule
admirer cet étalon allemand qui répondait à coups de sabot à des questions
complexes, sans jamais se tromper. «Combien font deux plus trois?» Hans
s’empressait de frapper cinq fois le sol. « Quel jour de la semaine sommes-
nous?» Le cheval désignait successivement chacune des lettres sur un tableau
conçu à cet effet et donnait la bonne réponse. Hans maîtrisait même des
énigmes plus ardues, du genre: «Je pense à un nombre. Je retire neuf, il reste
trois. Quel est ce nombre ? » En 1904, Hans le Malin était devenu une
célébrité internationale et le
New York Times
le présentait comme «le cheval
prodige de Berlin; il peut presque tout faire sauf parler1».
Le dresseur de Hans, Wilhelm von Osten, professeur de mathématiques à la
retraite, était depuis longtemps fasciné par l’intelligence animale. Il avait essayé
en vain d’apprendre les chiffres à des chatons et à des oursons, et c’est quand il
commença à travailler avec son propre cheval qu’il connut le succès. Il apprit
d’abord à Hans à compter en lui tenant la jambe: il lui montrait un chiffre,
puis frappait autant de fois sur son sabot. Bientôt, le cheval put lui-même
effectuer des additions simples. Von Osten lui présenta ensuite un tableau noir
où l’alphabet était inscrit à la craie pour que Hans puisse associer un nombre à
chaque lettre. Au bout de deux ans d’entraînement, von Osten fut ébloui par la
facilité avec laquelle l’animal maîtrisait des concepts intellectuels avancés. Il
emmena donc Hans sur les routes pour prouver que les animaux pouvaient
raisonner. Hans devint la sensation virale de la Belle Époque.
Mais beaucoup de gens étaient sceptiques. À Berlin, le Conseil de
l’Éducation créa une commission d’enquête pour étudier les prétentions
scientifiques de von Osten. Présidée par le psychologue et philosophe Carl
Stumpf et son assistant Oskar Pfungst, la commission incluait un directeur de
cirque, un instituteur retraité, un zoologue, un vétérinaire et un officier de
cavalerie. Pourtant, après avoir été longuement interrogé, en présence ou non
de son maître, Hans maintint sa performance de réponses justes, sans qu’on
puisse déceler aucune fraude. Comme Pfungst l’écrivit par la suite, Hans s’était
produit devant « des milliers de spectateurs, d’amateurs de chevaux et de
prestidigitateurs de grand talent, et pas un seul d’entre eux, au cours des
nombreux mois d’observation, ne put découvrir le moindre signal régulier »
entre l’interrogateur et le cheval2.
La commission estima que les méthodes enseignées à Hans ressemblaient
plus à celles employées pour «les enfants d’école élémentaire» qu’au dressage
animalier, et étaient « dignes d’un examen scientifique3 ». Mais Pfungst et
Stumpf doutaient encore. Un détail en particulier les troublait : quand
l’interrogateur ignorait la réponse ou se tenait loin, Hans se trompait souvent.
Pfungst et Stumpf se demandèrent si Hans n’était pas influencé par une sorte
de signal involontaire.
Comme Pfungst l’expliquerait dans son livre paru en 1911, cette intuition
était la bonne: la posture de l’interrogateur, sa respiration et l’expression de
son visage montraient des changements subtils au moment où Hans parvenait
à la bonne réponse, incitant le cheval à s’arrêter là4. Pfungst confirma cette
hypothèse en la testant sur des sujets humains. Ce qui le fascinait surtout dans
ce résultat, c’est que l’interrogateur ignorait en général qu’il fournissait des
indices au cheval. La solution de l’énigme résidait dans l’orientation
inconsciente offerte par les humains5. Le cheval était conditionné pour donner
les réponses que son propriétaire attendait, mais le public sentait que ce n’était
pas l’intelligence extraordinaire qu’il s’était imaginée.
L’histoire de Hans le Malin est frappante à plus d’un titre: la relation entre
désir, illusion et action ; le monde du spectacle ; la façon dont nous
anthropomorphisons le non-humain; l’apparition de biais subjectifs; la valeur
politique de l’intelligence. En psychologie, Hans a inspiré une expression
désignant un certain type de piège conceptuel, l’effet Hans le Malin, l’effet des
attentes de l’observateur, pour décrire l’influence des signaux involontaires des
expérimentateurs sur leurs sujets. La relation entre Hans et von Osten renvoie
aux mécanismes complexes par lesquels des biais s’introduisent dans les
systèmes et à la manière dont les humains s’immiscent dans les phénomènes
qu’ils étudient. L’histoire de Hans est désormais utilisée dans l’apprentissage
automatique (
machine learning
) comme mise en garde : on ne peut pas
toujours être sûr de ce qu’un modèle apprend des données qui lui sont
fournies6. Même un système qui semble fonctionner de manière spectaculaire
tant qu’il est au stade de l’entraînement peut faire des prédictions lamentables
lorsqu’il est par la suite confronté à des données nouvelles.
Ainsi se pose la question centrale de ce livre : comment
fabrique
-t-on
l’intelligence, et quels pièges cela peut-il susciter? Au premier abord, l’histoire
de Hans le Malin nous dit comment un homme a construit une intelligence en
entraînant un cheval à suivre des signaux et à imiter la cognition humaine.
Mais sous un autre angle, cette fabrication d’une intelligence apparaît comme
une pratique bien plus vaste. L’entreprise exigeait la validation de multiples
institutions: le milieu universitaire, le système éducatif, la science, le public et
l’armée. Sans oublier le marché que cela représentait pour von Osten et son
remarquable cheval : l’investissement affectif et économique à l’origine des
tournées, les articles de journaux et les conférences. Une autorité
bureaucratique fut constituée pour mesurer et tester les compétences du cheval.
Toute une constellation d’intérêts financiers, culturels et scientifiques eurent
un rôle à jouer dans la construction de l’intelligence de Hans et avaient intérêt
à déterminer si elle était réellement remarquable.
On peut voir deux mythologies distinctes à l’œuvre. Premier mythe : les
systèmes non humains (qu’il s’agisse d’ordinateurs ou de chevaux) sont
analogues à l’esprit humain. Cette perspective suppose qu’avec un
entraînement suffisant, ou des ressources suffisantes, une intelligence semblable
à celle de l’humain peut être créée de toutes pièces, sans se soucier des aspects
fondamentaux par lesquels les humains sont incarnés, en relation, et
s’inscrivent dans des écologies plus vastes. Deuxième mythe : l’intelligence a
une existence indépendante, comme si elle était naturelle et distincte des forces
sociales, culturelles, historiques et politiques. En fait, le concept d’intelligence a
fait beaucoup de mal au fil des siècles et a servi à justifier les relations de
domination, de l’esclavage à l’eugénisme7.
Ces mythologies sont particulièrement fortes dans le domaine de
l’intelligence artificielle, où l’idée que l’intelligence humaine peut être
formalisée et reproduite par des machines est axiomatique depuis le milieu du
XXe siècle. De même que l’intelligence de Hans était considérée comme
semblable à celle d’un humain, éveillée avec soin comme celle d’un enfant à
l’école primaire, les systèmes d’IA ont été à plusieurs reprises décrits comme
des formes d’intelligence simples mais semblables à l’humain. En1950, Alan
Turing prévoyait qu’«à la fin du siècle l’usage, les mots et l’opinion éclairée
auront tant changé que l’on pourra parler de machines pensantes sans
s’attendre à être contredit8». Le mathématicien John von Neumann affirmait
en1958que le système nerveux humain est «de prime abord digital9». Alors
qu’on lui demandait si les machines pouvaient penser, Marvin Minsky,
professeur au MIT, répondit : « Bien sûr que les machines peuvent penser ;
nous pouvons penser et nous sommes des “machines de chair”10.» Mais tout le
monde n’était pas convaincu. De l’avis de Joseph Weizenbaum, pionnier de
l’IA et concepteur d’ELIZA, le tout premier
chatbot
, concevoir les humains
comme de simples systèmes de traitement de l’information était une vision
bien trop simpliste de l’intelligence, qui entretenait «la fiction perverse» selon
laquelle les scientifiques en IA pouvaient créer une machine qui apprendrait
«comme un enfant11».
Ce débat est au cœur de l’histoire de l’intelligence artificielle. En1961, le
MIT accueillit une série de conférences intitulées « Le management et
l’ordinateur du futur». Un aréopage de scientifiques réputés y participèrent,
dont Grace Hopper, J.C.R. Licklider, Marvin Minsky, Allen Newell, Herbert
Simon et Norbert Wiener, pour débattre des rapides avancées du traitement
numérique des données. En conclusion, John McCarthy n’hésita pas à affirmer
que les différences entre les tâches humaines et celles des machines étaient
illusoires. Qu’il existait simplement des tâches humaines complexes qui
prendraient plus de temps avant d’être formalisées et résolues par les
machines12.
Hubert Dreyfus, professeur de philosophie, riposta : il craignait que les
ingénieurs réunis «n’envisagent même pas l’éventualité que le cerveau puisse
traiter l’information d’une manière totalement différente de celle d’un
ordinateur13 ». Dans un ouvrage postérieur,
Intelligence artificielle, mythes et
limites
, Dreyfus soulignait que l’intelligence et la compétence humaines
dépendent beaucoup de divers processus inconscients et subconscients, alors
que les ordinateurs nécessitent que tous les processus et toutes les données
soient explicites et formalisés14. Par conséquent, pour les ordinateurs, les
aspects moins formels de l’intelligence doivent être isolés, éliminés ou
approximés, ce qui les rend incapables de traiter l’information sur une situation
comme le font les humains.
En IA, les choses ont beaucoup changé depuis les années 1960, et on est
passé de systèmes symboliques au récent battage médiatique autour des
techniques d’apprentissage automatique (
machine learning
). Par bien des côtés,
les premiers débats sur ce que l’IA peut faire ont été oubliés et le scepticisme
n’est plus de mise. Depuis le milieu des années 2000, l’IA connaît un essor
remarquable en tant que domaine universitaire et industrie. Désormais, un
petit nombre d’entreprises technologiques puissantes déploient des systèmes
d’IA à l’échelle planétaire, et leurs systèmes sont une fois de plus considérés
comme équivalents, voire supérieurs à l’intelligence humaine.
Pourtant, l’histoire de Hans le Malin nous rappelle aussi l’étroitesse de notre
conception de l’intelligence. Hans avait appris à imiter des tâches dans un
domaine très restreint: additionner, soustraire et épeler des mots. Cela reflète
une perspective limitée de ce que peuvent faire les chevaux ou les humains.
Hans accomplissait déjà des exploits en termes de communication inter-
espèces, de spectacle public et de patience considérable, mais rien de tout cela
n’était reconnu comme relevant de l’intelligence. Comme le dit l’ingénieure
Ellen Ullman, l’idée selon laquelle l’esprit est comme un ordinateur, et vice
versa, «a contaminé des décennies de réflexion en informatique et en sciences
cognitives », créant une sorte de péché originel dans ce domaine15. C’est
l’idéologie du dualisme cartésien appliquée à l’intelligence artificielle: l’IA est
étroitement comprise comme une intelligence désincarnée, détachée de toute
relation avec le monde matériel.
L’IA N’EST NI ARTIFICIELLE NI INTELLIGENTE
Posons une question faussement simple : Qu’est-ce que l’intelligence
artificielle? Si vous interrogez les passants, ils vous citeront Siri chez Apple, le
cloud
d’Amazon, les voitures Tesla ou les algorithmes de recherche de Google.
Si vous demandez à des spécialistes de l’apprentissage profond (
deep learning
),
ils vous donneront sans doute une réponse technique sur les réseaux de
neurones, organisés en dizaines de couches recevant des données étiquetées, qui
se voient assigner des poids et des seuils, et peuvent classer les données d’une
manière que nous ne pouvons pas encore entièrement expliquer16. En1978,
évoquant les systèmes experts, le professeur Donald Michie décrivait l’IA
comme un affinement des connaissances, où «on peut produire une fiabilité et
une compétence de codification qui surpassent de loin le plus haut niveau
qu’un expert humain ait jamais atteint sans aide, voire n’atteindra jamais17».
Dans l’un des manuels les plus appréciés sur la question, Stuart Russell et Peter
Norvig affirment que l’IA est la tentative de comprendre et de construire des
entités intelligentes : « L’intelligence a principalement trait à l’action
rationnelle. Dans l’idéal, un agent intelligent exécute la meilleure action
possible compte tenu de la situation.18»
Chaque façon de définir l’intelligence artificielle établit un cadre permettant
de la comprendre, de la mesurer, de l’évaluer et de la gouverner. Si l’IA est
définie par les grandes marques en fonction de leur infrastructure d’entreprise,
alors le marketing et la publicité en prédéterminent l’horizon. Si les systèmes
d’IA sont considérés comme plus fiables ou plus rationnels que n’importe quel
expert humain, capables de faire «la meilleure action possible», cela suggère
qu’il faudrait leur confier toutes les décisions importantes en matière de santé,
d’éducation et de justice pénale. Quand on se focalise uniquement sur des
techniques algorithmiques spécifiques, cela indique que seul compte le progrès
technique continu, sans se soucier du coût computationnel de ces approches
ou de leur impact considérable sur une planète déjà mise à rude épreuve.
J’affirme au contraire, dans cet essai, que l’IA n’est ni
artificielle
ni
intelligente
. Au contraire, l’intelligence artificielle est à la fois incarnée et
matérielle, faite de ressources naturelles, de carburant, de main-d’œuvre
humaine, d’infrastructures, de logistique, d’histoires et de classifications. Les
systèmes d’IA ne sont ni autonomes, ni rationnels, ni capables de discerner
quoi que ce soit sans formation extensive et intensive sur le plan
computationnel, grâce à d’importants ensembles de données, avec règles et
récompenses prédéfinies. En fait, l’intelligence artificielle telle que nous la
connaissons dépend entièrement d’un ensemble beaucoup plus large de
structures politiques et sociales. Et à cause du capital nécessaire pour produire
l’IA à grande échelle et des manières de voir qu’il optimise, les systèmes d’IA
sont finalement conçus pour servir les intérêts dominants. En ce sens,
l’intelligence artificielle est le reflet du pouvoir.
Nous explorerons la fabrication de l’intelligence artificielle, au sens le plus
large, et les forces économiques, politiques, culturelles et historiques qui la
façonnent. Une fois l’IA replacée au sein de ces structures et systèmes sociaux,
on peut se défaire de l’idée que l’intelligence artificielle est un domaine
purement technique. Fondamentalement, l’IA est faite de pratiques techniques
et sociales, d’institutions et d’infrastructures, de politique et de culture. La
raison computationnelle et le travail incarné sont profondément liés : les
systèmes d’IA reflètent et produisent des relations sociales et des façons de
comprendre le monde.
Il faut noter que le terme « intelligence artificielle » peut gêner parmi la
communauté des sciences informatiques. Sa popularité a fluctué au fil des
décennies, et elle est plus souvent employée en marketing que par les
chercheurs. Dans la littérature technique, « apprentissage automatique » est
bien plus courant. Pourtant, la nomenclature de l’IA est souvent adoptée lors
des demandes de financement, quand les investisseurs en capital risque arrivent
chéquier en main, ou quand les chercheurs veulent attirer l’attention de la
presse sur un nouveau résultat scientifique. Par conséquent, le terme est à la
fois utilisé et rejeté, ce qui en rend le sens mouvant. Pour ma part, je parle d’IA
pour désigner une formation industrielle massive qui inclut politique, main-
d’œuvre, culture et capital. Quand je parle d’apprentissage automatique,
j’entends par là une gamme d’approches techniques (qui sont en fait également
sociales et infrastructurelles, mais rarement désignées comme telles).
Cependant, il y a des raisons importantes pour lesquelles le domaine s’est
tellement focalisé sur les aspects techniques : les avancées algorithmiques,
l’amélioration progressive des produits et une plus grande praticité. Les
structures du pouvoir, à l’intersection de la technologie, du capital et de la
gouvernance, sont bien servies par cette analyse étroite et abstraite. Pour
comprendre en quoi l’IA est fondamentalement politique, nous devons aller
au-delà des réseaux de neurones et de la reconnaissance statistique des formes,
et nous demander
ce qui
est optimisé,
pour qui
, et
qui
décide. Nous pourrons
alors étudier les conséquences de ces choix.
VOIR L’IA COMME UN ATLAS
En quoi un atlas peut-il nous aider à comprendre comment l’intelligence
artificielle est fabriquée? Un atlas est un type d’ouvrage inhabituel. C’est un
recueil de parties disparates, où la résolution des cartes varie de l’image satellite
de la planète au gros plan détaillé sur un archipel. Quand vous ouvrez un atlas,
vous cherchez des informations spécifiques sur un lieu particulier, ou vous le
feuilletez au gré de votre curiosité, pour y découvrir des chemins inattendus et
des perspectives nouvelles. Comme le remarque Lorraine Daston, historienne
des sciences, tous les atlas scientifiques visent à éduquer l’œil, à concentrer
l’attention de l’observateur sur des détails éloquents, sur certaines
caractéristiques significatives19. Un atlas vous présente un point de vue
particulier sur le monde, avec la validation de la science (échelles et
proportions, latitudes et longitudes) et un sens de la forme et de la cohérence.
Autant qu’un volume scientifique, un atlas est cependant aussi un acte de
créativité – une intervention subjective, politique et esthétique. Pour le
philosophe Georges Didi-Huberman, l’atlas habite le paradigme esthétique du
visuel et le paradigme épistémique de la connaissance. En impliquant les deux,
il sape l’idée que la science et l’art puissent être entièrement séparés20. Au
contraire, un atlas nous permet de relire le monde, d’en relier différemment les
morceaux disparates, d’en redistribuer la dissémination, de «la remonter sans
croire la résumer ni l’épuiser21».
Ursula Franklin, physicienne et critique technologique, montre très bien en
quoi l’approche cartographique peut nous aider : « Les cartes sont des
entreprises guidées par un but, elles sont conçues pour être utiles, pour assister
le voyageur et combler l’écart entre le connu et l’encore inconnu ; elles
témoignent d’un savoir et d’une perception collectifs22».
À leur meilleur, les cartes nous offrent un ensemble de voies ouvertes–des
modes de savoir partagés–qui peuvent se mêler et se combiner pour former de
nouvelles interconnexions. Mais il existe aussi des cartes de domination, ces
cartes nationales où le territoire est découpé le long des lignes de faille du
pouvoir: depuis les interventions directes consistant à tracer des frontières à
travers des territoires contestés jusqu’à la révélation du parcours colonial des
empires. Ce que je suggère, en évoquant un atlas, c’est qu’il nous faut trouver
de nouvelles manières de comprendre les empires de l’intelligence artificielle.
Nous avons besoin d’une théorie de l’IA qui rende compte des États et des
entreprises qui la pilotent et la dominent, de l’extraction minière qui laisse sa
marque sur la planète, de la captation massive de données, et des pratiques de
travail profondément inégalitaires et toujours plus exploitatrices qui
l’entretiennent. Telle est la tectonique du pouvoir de l’IA. Une approche
topographique offre différentes perspectives et différentes échelles, par-delà les
promesses abstraites de l’intelligence artificielle ou les derniers modèles
d’apprentissage automatique. Le but est de comprendre l’IA dans un contexte
plus large en parcourant les nombreux et divers paysages computationnels et en
voyant comment ils sont reliés23.
L’image de l’atlas est également pertinente pour une autre raison. Le champ
de l’IA tente explicitement de capturer la planète sous une forme
computationnelle lisible. C’est moins une métaphore que l’ambition explicite
de ce secteur. L’industrie de l’IA élabore et normalise ses propres cartes
propriétaires, comme une vision « divine » centralisée du mouvement, de la
communication et du travail des humains. Certains scientifiques en IA ont
énoncé leur désir de s’approprier le monde et de supplanter toute autre forme
de connaissance. La professeure Fei-Fei Li décrit son projet ImageNet comme
visant à « cartographier intégralement le monde des objets24 ». Dans leur
manuel, Russell et Norvig considèrent que l’intelligence artificielle «relève de
toutes les tâches intellectuelles : c’est vraiment un domaine universel25 ».
Comme l’a déclaré sans ambages Woody Bledsoe, un des fondateurs de
l’intelligence artificielle et pionnier de la reconnaissance faciale : « À long
terme, l’IA est la
seule
science26.» Ce n’est pas une volonté de créer un atlas du
monde mais d’être l’Atlas–la façon dominante de voir. Cet élan colonisateur
centralise le pouvoir dans le champ de l’IA: il détermine la manière dont le
monde est mesuré et défini, tout en niant qu’il s’agit d’une activité
intrinsèquement politique.
Au lieu de prétendre à l’universalité, ce livre est un exposé partiel et, en vous
entraînant dans mes investigations, j’espère vous montrer comment je me suis
forgé mes conceptions. Nous rencontrerons des paysages de computation très
visités et d’autres moins connus: les puits de mine, les immenses corridors des
centres de données énergivores, les archives où sont stockés des crânes, les bases
de données d’images, et les entrepôts de livraison éclairés au néon. Ces sites
figurent ici non seulement pour illustrer la construction matérielle de l’IA et de
ses idéologies, mais aussi pour «mettre en lumière les aspects inévitablement
subjectifs et politiques de la cartographie, et fournir une alternative aux
approches hégémoniques, autoritaires, souvent naturalisées et réifiées», comme
l’écrit Shannon Mattern, spécialiste des médias27.
Les modèles permettant de comprendre les systèmes et de les confronter à
leurs responsabilités reposent depuis longtemps sur des idéaux de transparence.
Comme je l’ai écrit avec Mike Ananny, autre spécialiste des médias, on croit
parfois qu’être capable de
voir
un système équivaut à être capable de savoir
comment il fonctionne et comment le gouverner28. Mais cette tendance a de
sérieuses limites. Dans le cas de l’IA, il n’y a pas de boîte noire à ouvrir, de
secret à révéler, mais une multitude de systèmes de pouvoir imbriqués. La
transparence totale est donc un objectif impossible. Nous pouvons en revanche
mieux comprendre le rôle de l’IA dans le monde en nous intéressant à ses
architectures matérielles, à ses environnements contextuels, à ses orientations
politiques, et en examinant comment ils sont connectés.
Ma réflexion s’appuie sur l’étude des sciences et des technologies, le droit et
la philosophie politique, et sur mon expérience professionnelle depuis dix ans,
tant dans le milieu universitaire que dans un laboratoire de recherche
industrielle en IA. Au cours de cette décennie, la générosité de nombreux
collègues et communautés a transformé ma façon de voir le monde : la
cartographie est toujours un exercice collectif, et cet ouvrage ne fait pas
exception29. Je remercie les chercheurs qui ont créé de nouvelles manières de
comprendre les systèmes sociotechniques, notamment Geoffrey Bowker,
Benjamin Bratton, Wendy Chun, Lorraine Daston, Peter Galison, Ian
Hacking, Stuart Hall, Donald MacKenzie, Achille Mbembe, Alondra Nelson,
Susan Leigh Star et Lucy Suchman, parmi tant d’autres. Ce livre a bénéficié de
nombreux entretiens personnels et de la lecture de travaux récents sur les
aspects politiques de la technologie, dont Mark Andrejevic, Ruha Benjamin,
Meredith Broussard, Simone Browne, Julie Cohen, Sasha Costanza-Chock,
Virginia Eubanks, Tarleton Gillespie, Mar Hicks, Tung-Hui Hu, Yuk Hui,
Safiya Umoja Noble et Astra Taylor.
Comme pour tout livre, cet ouvrage est le fruit d’une expérience vécue, avec
les limites que cela impose. Comme je vis et travaille depuis dix ans aux États-
Unis, je me concentre sur l’industrie de l’IA dans les centres du pouvoir
occidentaux. Mon objectif n’est pas de créer un atlas mondial exhaustif–l’idée
même évoque la conquête et le contrôle colonial. Le point de vue d’un auteur
est nécessairement partiel, fondé sur des observations et des interprétations
locales, ce que la géographe de l’environnement Samantha Saville appelle une
« géographie humble » qui reconnaît les perspectives spécifiques au lieu de
prétendre à l’objectivité et à la maîtrise30.
Tout comme il y a de nombreuses façons de faire un atlas, il y a de
nombreux avenirs possibles quant à la manière dont l’IA sera utilisée dans le
monde. L’expansion des systèmes d’IA peut sembler inévitable, mais c’est une
idée contestable et incomplète. Les visions sous-jacentes au champ de l’IA ne
naissent pas par génération spontanée, mais ont été construites à partir d’un
ensemble particulier de croyances et de perspectives. Les principaux
concepteurs de l’atlas actuel de l’IA forment un petit groupe homogène,
implanté dans un petit nombre de villes, et travaillant dans un secteur qui est
aujourd’hui le plus riche au monde. Comme les
mappae mundi
de l’Europe
médiévale, qui illustraient des concepts classiques religieux autant que les
coordonnées géographiques, les cartes produites par l’industrie de l’IA sont des
interventions politiques, et non un reflet neutre du monde. Ce livre va à
l’encontre de l’esprit des logiques cartographiques coloniales, et il embrasse une
diversité d’histoires, de lieux et de bases de connaissance pour mieux
comprendre le rôle de l’IA dans le monde.
TOPOGRAPHIES COMPUTATIONNELLES
Comment l’IA est-elle conceptualisée et construite, à ce moment précis du XXIe
siècle? Qu’est-ce qui est en jeu dans le virage vers l’intelligence artificielle, et
quels types de politiques recèle la manière dont ces systèmes cartographient et
interprètent le monde ? Quelles sont les conséquences sociales et matérielles
lorsqu’on inclut l’IA et ses algorithmes dans les modes de prise de décision
d’institutions sociales comme l’éducation et les soins de santé, la finance, les
activités gouvernementales, les interactions sur le lieu de travail et l’embauche,
la communication et le système judiciaire? Ce livre n’est pas une histoire de
codes et d’algorithmes, ni une présentation des dernières théories sur la vision
par ordinateur, le traitement automatique du langage naturel ou l’apprentissage
par renforcement. Beaucoup d’autres ouvrages s’en chargent. Ce n’est pas non
plus un exposé ethnographique sur une petite communauté et les effets de l’IA
sur leur rapport au travail, au logement ou à la médecine–même si nous en
avons certainement davantage besoin.
Il s’agit plutôt d’une vision élargie de l’intelligence artificielle comme
industrie extractive
. La création des systèmes actuels d’IA repose sur
l’exploitation des ressources énergétiques et minérales de la planète, sur la
main-d’œuvre bon marché et sur les données à grande échelle. Pour observer ce
phénomène en action, nous accomplirons une série de voyages dans les lieux
qui révèlent comment se fabrique l’IA.
Au chapitre1, nous commençons par les mines de lithium du Nevada, l’un
des nombreux sites d’extraction de minéraux nécessaires pour alimenter l’IA et
ses algorithmes aujourd’hui. C’est dans l’exploitation minière qu’on voit la
politique extractive de l’IA dans sa forme littérale. Le secteur tech est très
exigeant en minéraux de terres rares, en pétrole et en charbon, mais le coût réel
de cette extraction n’est jamais assumé par le secteur lui-même. Du côté
logiciel, la conception de modèles pour le traitement automatique du langage
naturel et la vision par ordinateur consomme énormément d’énergie, et la
concurrence pour produire des modèles plus rapides et plus efficaces a conduit
à des méthodes computationnelles plus gourmandes qui augmentent
l’empreinte carbone de l’IA. Des derniers arbres de Malaisie dont on a récolté
le latex pour les premiers câbles sous-marins transatlantiques au gigantesque lac
artificiel de résidus toxiques en Mongolie-Intérieure, nous retracerons les lieux
de naissance environnementaux et humains des réseaux computationnels
planétaires, et nous verrons comment ils continuent à terraformer la planète.
Le chapitre2 montre comment l’intelligence artificielle est faite de travail
humain. Nous nous intéresserons aux travailleurs à la pièce payés quelques
centimes pour effectuer des micro-tâches numériques pour que les systèmes de
données puissent paraître plus intelligents qu’ils ne le sont31. Notre voyage
nous conduira dans les entrepôts Amazon où les employés doivent suivre le
rythme des cadences algorithmiques d’un vaste empire logistique, et nous
visiterons les abattoirs de Chicago, avec leurs chaînes de désassemblage où on
pratique la vivisection des carcasses d’animaux qu’on prépare à la
consommation. Et nous entendrons des employés qui protestent contre la
façon dont les systèmes d’IA renforcent la surveillance et le contrôle pour leurs
patrons.
Le travail est aussi une affaire de temps. Coordonner les actions des humains
avec les mouvements répétitifs des robots et des machines a toujours impliqué
un contrôle des corps dans l’espace et le temps32. De l’invention du
chronomètre à l’appli TrueTime de Google, le processus de coordination du
temps est au cœur de la gestion du milieu de travail. Les technologies IA
requièrent et créent les conditions où les mécanismes de la gestion temporelle
sont toujours plus précis et granulaires. Organiser le temps exige des
informations de plus en plus détaillées sur ce que les gens font, comment et
quand ils le font.
Le chapitre 3 se concentre sur le rôle des données. Tout le matériel
numérique publiquement accessible – dont des données personnelles ou
potentiellement préjudiciables – peut être collecté pour les ensembles de
données d’apprentissage, dites d’entraînement, utilisés pour produire des
modèles d’IA. Il existe de gigantesques ensembles de données remplis de selfies,
de gestes de la main, de gens au volant, de bébés qui pleurent, de conversations
de groupes de discussions des années 1990, qui servent tous à améliorer les
algorithmes qui exécutent des fonctions comme la reconnaissance faciale, la
linguistique prédictive et la détection d’objet. Quand toutes ces données ne
sont plus considérées comme le matériel personnel d’individus mais
simplement comme une
infrastructure
, la signification ou le contexte spécifique
d’une image ou d’une vidéo est réputé perdre toute pertinence. Au-delà des
graves questions liées à la vie privée et au capitalisme de surveillance, les
pratiques actuelles de travail sur les données en IA soulèvent de sérieuses
inquiétudes d’ordre éthique, méthodologique et épistémologique33.
Et comment toutes ces données sont-elles utilisées ? Au chapitre 4, nous
examinerons les pratiques de classification dans les systèmes d’intelligence
artificielle, ce que la sociologue Karin Knorr Cetina appelle la « machinerie
épistémique34 ». Nous verrons comment les systèmes actuels utilisent des
étiquettes pour prédire l’identité humaine, généralement sur la base d’une
conception binaire des genres, de catégories raciales essentialisées et
d’évaluations problématiques de la personnalité et de la solvabilité. Un signe
remplacera un système, un ersatz se substituera au réel, et un modèle-jouet se
substituera à l’infinie complexité de la subjectivité humaine. En étudiant ces
classifications, nous verrons que les schémas techniques imposent des
hiérarchies et aggravent les injustices. L’apprentissage automatique nous
présente un régime de raisonnement normatif qui, dans sa phase ascendante,
prend la forme d’une puissante rationalité dirigeante.
De là, nous gagnerons les villes montagneuses de Papouasie-Nouvelle-
Guinée pour explorer l’histoire de la reconnaissance des affects, l’idée que les
expressions faciales sont la clé qui révèle l’état émotionnel interne d’une
personne. Le chapitre5se penche sur l’idée du psychologue Paul Ekman selon
laquelle il existe un petit nombre d’états émotionnels universels qui peuvent
être lus directement sur le visage. Les entreprises tech se servent désormais de
cette idée dans les systèmes de reconnaissance des affects, dans un secteur qui
vaudrait, prédit-on, plus de 17 milliards de dollars35. Mais une sérieuse
controverse scientifique entoure la détection des émotions, qui est au mieux
incomplète et, au pire, trompeuse. Bien que fondés sur une hypothèse instable,
ces outils sont rapidement mis en place dans les systèmes d’embauche, dans
l’éducation et dans les forces de l’ordre.
Au chapitre 6, nous envisagerons comment les systèmes d’IA deviennent
l’instrument du pouvoir étatique. La dimension militaire passée et présente de
l’intelligence artificielle a façonné les pratiques de surveillance, d’extraction des
données et d’évaluation du risque que nous observons aujourd’hui. Les
profondes interconnexions entre le secteur tech et l’armée se restreignent
désormais à des programmes nationalistes forts. Pendant ce temps, les outils
extrajudiciaires utilisés par la communauté du renseignement se sont répandus,
passant du domaine militaire au secteur commercial, servant dans les salles de
classe, les commissariats, les lieux de travail et les agences pour l’emploi. La
logique militaire qui a façonné les systèmes d’IA fait maintenant partie du
fonctionnement des administrations municipales, et elle biaise toujours plus les
relations entre l’État et les citoyens.
Le dernier chapitre analyse comment l’intelligence artificielle fonctionne en
tant que structure du pouvoir qui combine infrastructure, capital et travail. Du
chauffeur Uber qu’on a incité (
nudge
) à l’immigré sans papiers traqué, en
passant par les locataires de logements sociaux confrontés à des systèmes de
reconnaissance faciale chez eux, les systèmes d’IA sont construits dans la
logique du capital, du maintien de l’ordre et de la militarisation–combinaison
qui creuse encore les asymétries existantes du pouvoir. Ces façons de voir
dépendent d’un double mouvement d’abstraction et d’extraction: on rend les
conditions matérielles de leur fabrication toujours plus abstraites tout en
extrayant davantage d’informations et de ressources de ceux qui sont le moins
capables de résister.
Mais cette logique peut être bravée, tout comme il est possible de rejeter les
systèmes qui perpétuent l’oppression. Puisque les conditions sur Terre
évoluent, les appels invoquant la protection des données, le droit du travail, la
justice climatique et l’égalité des races devraient être entendus ensemble.
Quand ces mouvements militants interconnectés apprennent à comprendre
l’intelligence artificielle, d’autres conceptions de la politique planétaire
deviennent possibles.
EXTRACTION, POUVOIR ET POLITIQUE
L’intelligence artificielle est donc une idée, une infrastructure, une industrie,
une forme d’exercice du pouvoir, et une façon de voir ; c’est aussi la
manifestation d’un capital très organisé, soutenu par de vastes systèmes
d’extraction et de logistique, avec des chaînes d’approvisionnement qui
enveloppent toute la planète. Toutes ces choses font partie de ce qu’est
l’intelligence artificielle–expression en deux mots sur laquelle se dessine un
ensemble complexe d’attentes, d’idéologies, de désirs et de peurs.
L’IA peut évoquer une force spectrale–une intelligence computationnelle
désincarnée – mais ces systèmes sont tout sauf abstraits. Ce sont des
infrastructures physiques qui remodèlent la Terre, tout en transformant la
façon dont on voit et comprend le monde.
Il est important de nous confronter à ces nombreux aspects de l’intelligence
artificielle–son caractère malléable, les dégâts et les déchets qu’elle crée, et son
étendue spatio-temporelle. L’omniprésence de l’IA comme élément de discours,
la souplesse avec laquelle l’expression peut être reconfigurée, signifie également
qu’elle se prête à toutes sortes d’usages: elle renvoie aussi bien à des appareils
grand public comme l’enceinte connectée Amazon Echo qu’à des systèmes de
traitement anonymes, à des articles universitaires ésotériques qu’aux plus
grands groupes industriels au monde. Mais cela même a une utilité. L’élasticité
de l’expression « intelligence artificielle » nous permet d’envisager tous ces
éléments et comment ils sont profondément imbriqués : de la politique du
renseignement à la collecte massive de données, de la concentration industrielle
du secteur tech à la puissance militaire géopolitique, de la dévastation
environnementale aux formes toujours actuelles de discrimination.
Il faut donc rester sensible à ce qui se passe sur le terrain, observer les
glissements de sens de l’expression « intelligence artificielle », comme un
contenant dans lequel on met diverses choses avant de les retirer–car cela fait
aussi partie de l’histoire.
En résumé, l’intelligence artificielle est désormais un acteur qui détermine ce
qu’est le savoir, la communication ou le pouvoir. Cette reconfiguration se
produit au niveau de l’épistémologie, des principes de justice, de l’organisation
sociale, de l’expression politique, de la culture, de la compréhension des corps
humains, des subjectivités et des identités: ce que nous sommes et ce que nous
pouvons être. Mais allons plus loin. Puisqu’elle recartographie le monde et y
intervient, l’intelligence artificielle, c’est la politique par d’autres moyens,
même si on la reconnaît rarement comme telle. Cette politique est menée par
les Grandes Maisons d’IA, soit la demi-douzaine d’entreprises qui dominent la
computation planétaire.
Beaucoup d’institutions sociales sont aujourd’hui influencées par ces outils
et ces méthodes, qui modèlent leurs valeurs et leurs décisions tout en créant
une série complexe d’effets en aval. L’intensification du pouvoir technocratique
est en cours depuis un certain temps, mais le processus s’accélère désormais.
Cela tient en partie à la concentration du capital industriel en un temps
d’austérité économique et de délocalisation, qui inclut les coupes budgétaires
des systèmes de protection sociale et des institutions qui servaient jadis à
contrôler le pouvoir du marché. C’est pourquoi nous devons aborder l’IA en
tant que force politique, économique, culturelle et scientifique. Comme le
remarquent Alondra Nelson, Thuy Linh Tu et Alicia Headlam Hines, « les
conflits autour de la haute technologie sont toujours liés à une lutte plus large
pour la mobilité économique, les manœuvres politiques et la constitution
d’une communauté36».
Nous sommes à un moment critique, qui nous oblige à poser des questions
épineuses sur la façon dont l’IA est produite et adoptée. Nous devons nous
demander : Qu’est-ce que l’IA ? Quelles formes politiques propage-t-elle ?
Quels intérêts sert-elle, et qui risque les plus grands préjudices? Où faudrait-il
limiter l’usage de l’IA? Il n’est pas facile de répondre à ces questions. Mais la
situation n’a rien d’insoluble, elle n’a rien d’un point de non-retour; les formes
dystopiques de pensée peuvent nous paralyser, nous empêcher d’agir et de
procéder à des interventions urgentes37. Ainsi que l’écrit Ursula Franklin, «la
viabilité de la haute technologie, comme la démocratie, dépend en fin de
compte de la pratique de la justice et l’imposition de limites à son pouvoir38».
Ce livre affirme que, pour s’attaquer aux problèmes fondamentaux de l’IA et
de la computation planétaire, il faut relier les questions de pouvoir et de
justice: de l’épistémologie au droit du travail, de l’extraction de ressources à la
protection des données, de l’inégalité raciale au changement climatique. Pour
ce faire, nous devons élargir notre compréhension de ce qui est en cours dans
les empires de l’IA, voir ce qui est en jeu, et prendre de meilleures décisions
collectives sur ce qui doit advenir ensuite.
1Heyn, «Berlin’s Wonderful Horse».
2Pfungst,
Clever Hans
.
3«“Clever Hans” Again».
4Pfungst,
Clever Hans
.
5
Ibid
.
6Lapuschkin
et al
., «Unmasking Clever Hans Predictors».
7 Voir les travaux de la philosophe Val Plumwood sur les dualismes
intelligence-stupidité, émotionnel-rationnel, et maître-esclave. Plumwood,
«Politics of Reason».
8 Alan Turing, « Les ordinateurs et l’intelligence »,
La machine de Turing
,
p.149.
9 Von Neumann,
L’Ordinateur et le Cerveau
, p. 45. Cette approche a été
profondément critiquée par Dreyfus dans
Intelligence artificielle. Mythes et
limites
.
10Voir Weizenbaum, «On the Impact of the Computer on Society», p.612.
Après sa mort, Minsky fut impliqué dans de graves allégations liées à Jeffrey
Epstein, condamné pour pédophilie et viol. Minsky fait partie des
scientifiques qui rencontrèrent Epstein et se rendirent sur son île refuge où
des jeunes filles mineures étaient forcées d’avoir des relations sexuelles avec
les membres de la coterie d’Epstein. Comme l’observe la chercheuse
Meredith Broussard, cela s’inscrit dans une culture d’exclusion plus large,
devenue endémique dans l’IA : « Si prodigieusement créatifs qu’aient été
Minsky et sa cohorte, ils n’en ont pas moins consolidé la culture de la tech
en tant que club d’hommes milliardaires. Les mathématiques, la physique et
les autres sciences “dures” n’ont jamais été accueillantes pour les femmes et
les personnes de couleur ; la tech a suivi cet exemple. » Voir Broussard,
Artificial Unintelligence
, p.174.
11Weizenbaum,
Puissance de l’ordinateur et raison de l’homme
, p.134
12Greenberger,
Management and the Computer of the Future
, p.315.
13Dreyfus,
Alchemy and Artificial Intelligence
.
14Dreyfus,
Intelligence artificielle. Mythes et limites
.
15Ullman,
Life in Code
, p.136-137.
16 Voir, parmi les nombreux exemples possibles, Poggio
et al
., « Why and
When Can Deep – but Not Shallow – Networks Avoid the Curse of
Dimensionality».
17Cité dans Gill,
Artificial Intelligence for Society
, p.3.
18Russell et Norvig,
Intelligence artificielle
, p.31.
19Daston, «Cloud Physiognomy».
20Didi-Huberman,
Atlas ou Le gai savoir inquiet
, p.13.
21
Ibid
., p.20.
22Franklin et Swenarchuk,
The Ursula Franklin Reader
, prélude.
23Sur les pratiques de colonisation des données, voir Berkman Klein Center
for Internet & Society at Harvard University, « Colonized by Data » ; et
Mbembe,
Critique de la raison nègre
.
24 Fei-Fei Li citée dans Gershgorn, « The Data That Transformed AI
Research».
25Russell et Norvig,
Intelligence artificielle
, p.1.
26Bledsoe cité dans McCorduck,
Machines Who Think
, p.136.
27Mattern,
Code and Clay, Data and Dirt
, xxxiv-xxxv.
28Ananny et Crawford, «Seeing without Knowing».
29Aucune liste ne serait assez exhaustive pour évoquer toutes les personnes et
toutes les communautés de recherche qui ont inspiré cet ouvrage, et y ont
contribué. Je suis particulièrement reconnaissante envers la FATE (Fairness,
Accountability, Transparency and Ethics) et le Social Media Collective de
Microsoft Research, l’AI Now Institute de la NYU, la chaire «Intelligence
artificielle » de la Fondation de l’ENS, et les Richard von Weizsäcker
Visiting Fellows de la Robert Bosch Academy à Berlin.
30Saville, «Towards Humble Geographies».
31Pour en savoir plus sur les
crowdworkers
, voir Gray et Suri,
Ghost Work
; et
Roberts,
Derrière les écrans
.
32Canales,
Tenth of a Second
.
33Zuboff,
L’
Â
ge du capitalisme de surveillance
.
34Cetina,
Epistemic Cultures
, p.3.
35MarketWatch, «Emotion Detection and Recognition (EDR) Market Size».
36Nelson, Tu, et Hines, «Introduction: Hidden Circuits»,
Technicolor: Race,
Technology, and Everyday Life
», p.5.
37Danowski et de Castro,
The Ends of the World
.
38Franklin,
The Real World of Technology
, p.5.
1
La Terre
Entamant sa descente vers l’aéroport international de San Francisco, le
Boeing757survole San Jose. L’aile gauche se baisse quand l’appareil se place
parallèlement à la piste d’atterrissage, révélant une vue aérienne du lieu le plus
emblématique de l’industrie de la haute technologie. En dessous de l’avion
s’étend le vaste empire de la Silicon Valley. Le gigantesque cercle noir du siège
social d’Apple forme comme l’objectif d’un appareil photo luisant au soleil. Il y
a aussi Google, blotti près de l’aéroport Moffett de la NASA. Ce fut autrefois
un site clé de l’US Navy pendant la Seconde Guerre mondiale et la guerre de
Corée, mais Google en a signé le bail pour60ans, et les cadres de l’entreprise y
garent leur jet privé. Près de Google se déploient les grands hangars Lockheed
Martin, où cette entreprise spécialisée dans l’armement et l’aérospatiale
fabrique des centaines de satellites destinés à surveiller les activités de la Terre.
Près du pont de Dumbarton apparaît ensuite un ensemble de bâtiments trapus
qui abritent Facebook, encerclés par d’immenses parkings près des marais
salants de Ravenswood Slough. Vus du ciel, ces impasses banlieusardes et cette
ligne d’horizon industrielle ne révèlent pas grand-chose de la richesse, de la
puissance et de l’influence dont jouit en réalité Palo Alto. Seuls quelques
indices témoignent de son rôle central dans l’économie mondiale et dans
l’infrastructure computationnelle de la planète.
Je suis ici pour me renseigner sur l’intelligence artificielle et pour savoir de
quoi elle est faite. Mais pour cela, je devrai quitter la Silicon Valley.
De l’aéroport, je saute dans un4x4et je pars vers l’est. Je traverse le pont
San Mateo-Hayward et je passe devant le Lawrence Livermore National
Laboratory, où Edward Teller mena ses recherches sur les armes
thermonucléaires dans les années qui suivirent la Seconde Guerre mondiale.
Bientôt, les piémonts de la Sierra Nevada s’élèvent au-delà de Stockton et
Manteca, dans la Central Valley. Les routes commencent à serpenter à travers
les hautes falaises de granit du col Sonora puis redescendent, du côté est des
montagnes, vers les vallées herbeuses parsemées de coquelicots dorés. Les
pinèdes cèdent la place aux eaux alcalines du lac Mono et aux paysages
désertiques de Basin and Range. Pour refaire le plein, je m’arrête à Hawthorne,
Nevada, site du plus grand dépôt mondial de munitions, où l’armée des États-
Unis stocke des armes dans des dizaines de ziggourats poussiéreuses alignées
dans la vallée. Roulant sur la Route 265, j’aperçois au loin un VORTAC
solitaire, une balise radio en forme de quille conçue avant l’époque du GPS. Sa
fonction est simplement de dire «Je suis là» à tous les avions qui passent, en
guise de point de repère fixe dans une zone isolée.
Ma destination est le hameau de Silver Peak, dans la Clayton Valley, où
vivent environ 125 personnes, chiffre variable selon la méthode de calcul
employée. La ville minière, l’une des plus anciennes du Nevada, fut presque
abandonnée en1917, une fois la région dépouillée de son argent et de son or.
Quelques édifices de la ruée vers l’or persistent encore, fatigués par le soleil du
désert. La localité a beau être petite, et compter plus d’épaves de voitures que
d’habitants, elle abrite quelque chose d’excessivement rare. Silver Peak est
perchée au bord d’un immense lac de lithium souterrain. La saumure riche en
lithium est pompée hors du sol et déversée dans des étangs verts et irisés où elle
s’évapore. Ces étangs sont visibles à des kilomètres lorsqu’ils se mettent à
scintiller sous le soleil. De près, le spectacle est tout autre. Des tuyaux noirs aux
allures extra-terrestres surgissent et serpentent à la surface de la terre incrustée
de sel, jaillissant de tranchées peu profondes ou y disparaissant, pour
acheminer le cocktail salé jusqu’aux bassins de séchage.
C’est ici, dans ce coin perdu du Nevada, qu’on fabrique la matière de l’IA.
LES MINES DE L’IA
Clayton Valley est reliée à la Silicon Valley à peu près comme les gisements d’or
étaient jadis reliés à San Francisco. On a tendance à oublier l’histoire des
mines, et de la dévastation qu’elles laissent derrière elles, dans l’amnésie
stratégique qui accompagne le récit du progrès technologique. Comme le
souligne Gray Brechin, spécialiste de géographie historique, San Francisco fut
bâtie au XIXe siècle grâce aux bénéfices de l’extraction d’or et d’argent des sols
de Californie et du Nevada1. La ville s’est faite sur les mines. Ces mêmes terres
avaient été prises au Mexique en vertu du traité de Guadalupe Hidalgo
en1848, signé à l’issue de la guerre américano-mexicaine, lorsqu’il était déjà
clair pour les colons qu’il s’agissait de zones aurifères très précieuses. Selon
Brechin, c’est la parfaite illustration du vieux dicton: «Le commerce suit le
drapeau, mais le drapeau suit la pioche2». Des milliers de gens furent délogés
durant cette importante expansion territoriale des États-Unis. Après l’invasion
impériale de l’Amérique, les mineurs s’installèrent. Le sol fut exploité jusqu’à ce
que les voies d’eau soient contaminées et les forêts environnantes détruites.
Depuis l’Antiquité, l’activité minière n’a été rentable que parce qu’on ne
tient pas compte de son coût réel, notamment les dégâts environnementaux, la
maladie et la mort des mineurs, et les pertes pour les communautés qu’elle
chasse. En 1555, Georgius Agricola, surnommé le père de la minéralogie,
remarquait: «Il est clair aux yeux de tous que les dommages causés par les
mines sont plus grands que la valeur des métaux produits par les mines3.» En
somme, ceux qui s’enrichissent grâce aux mines n’y parviennent que parce que
les coûts retombent sur d’autres, vivants ou à naître. Il est facile d’attribuer un
prix aux métaux précieux, mais quelle est la valeur exacte d’une forêt vierge,
d’un cours d’eau pur, d’un air respirable, ou de la santé des communautés
locales? L’estimation n’a jamais été faite, d’où un raisonnement facile: mieux
vaut tout extraire aussi vite que possible. Agir d’abord, réfléchir ensuite.
Résultat : la Central Valley fut décimée et, comme l’observait un touriste
en1869, «une tornade, une crue, un séisme et un volcan combinés auraient
difficilement pu causer plus de dégâts et de ravages que l’orpaillage […]. En
Californie, l’exploitation minière ne respecte aucune loi. C’est l’intérêt unique,
suprême4».
Alors que San Francisco tirait son opulence des mines, il était facile pour sa
population d’en oublier la provenance. Les mines se trouvaient loin de la ville
qu’elles enrichissaient, et cet éloignement permettait aux citadins de rester dans
l’ignorance de ce qui advenait aux montagnes, aux rivières et aux travailleurs
qui alimentaient leur fortune. Mais les mines ont laissé partout de petits
rappels. Les nouvelles constructions de la ville dépendaient de la même
technologie qu’on utilisait au cœur de la Central Valley pour les transports et le
travail. Les systèmes de poulies qui descendaient les mineurs au fond des puits
furent adaptés sous la forme d’ascenseurs pour atteindre le sommet des plus
hauts immeubles5. Brechin propose d’envisager les gratte-ciel de San Francisco
comme des puits de mine inversés. Les minerais extraits de trous dans le sol
étaient vendus pour créer des étages dans les airs; plus on creusait profond,
plus les tours de bureaux pouvaient s’élever dans le ciel.
San Francisco s’enrichit une fois de plus. Autrefois, les fortunes reposaient
sur l’or; aujourd’hui, c’est sur l’extraction de matériaux comme le cristal de
lithium blanc. Sur le marché des minéraux, on l’appelle «l’or gris6». Le secteur
tech est devenu le nouvel intérêt suprême, et les cinq plus grandes entreprises
au monde, classées selon leur capitalisation boursière, ont des bureaux dans
cette ville: Apple, Microsoft, Amazon, Facebook et Google. En passant devant
les entrepôts de start-ups dans le quartier de SoMa, où les mineurs vivaient
jadis dans des tentes, on voit de luxueuses limousines, des chaînes de cafés
soutenues par le capital risque et des bus somptueux aux vitres teintées qui
empruntent des voies privées pour acheminer les employés jusqu’à leurs
bureaux de Mountain View ou de Menlo Park7. Mais à quelques pas
seulement, on découvre Division Street, route multivoies entre SoMa et
Mission District, où des rangées de tentes sont revenues pour loger les sans-
abri. Au lendemain du boom de la haute technologie, San Francisco compte
aujourd’hui l’un des plus forts taux de SDF aux États-Unis8. Le rapporteur
spécial des Nations unies sur le droit au logement parle de violation
« inacceptable » des droits humains, puisque des milliers de sans-abri sont
privés des nécessités fondamentales (eau, assainissement et services de santé),
par opposition au nombre record de milliardaires qui vivent à proximité9. Les
plus grands avantages de l’extraction ont été confisqués par quelques-uns.
Dans ce chapitre, nous visiterons le Nevada, San Jose et San Francisco, mais
aussi l’Indonésie, la Malaisie, la Chine et la Mongolie, nous traverserons des
déserts et des océans. Nous remonterons également les siècles, depuis le conflit
au Congo et les lacs noirs artificiels d’aujourd’hui jusqu’à la passion victorienne
pour le latex blanc. L’échelle changera, passant des rochers aux villes, des arbres
aux multinationales, des voies maritimes transocéaniques à la bombe atomique.
Mais dans tout ce super-système planétaire nous verrons la logique de
l’extraction, le prélèvement constant des minéraux, de l’eau et des combustibles
fossiles, sous-tendu par la violence des guerres, de la pollution, de l’extinction
et de l’épuisement. Les effets de la computation à grande échelle sont visibles
dans l’atmosphère, les océans, la croûte terrestre, le temps profond de la planète
et l’impact brutal sur les populations défavorisées du monde entier. Pour le
comprendre, nous avons besoin d’une vision panoramique de l’extraction
computationnelle à l’échelle planétaire.
PAYSAGES COMPUTATIONNELS
Un après-midi d’été, au volant de ma voiture, je traverse la vallée désertique
pour aller voir comment se traduit concrètement ce nouveau boom minier. Je
demande à mon téléphone de me guider jusqu’au périmètre des lacs de
lithium, et il me répond, en équilibre instable sur le tableau de bord, rattaché à
un câble USB blanc. Le vaste lit asséché de Silver Peak s’est formé il y a
plusieurs millions d’années, vers la fin de l’ère tertiaire. Il est entouré de strates
incrustées qui s’introduisent dans les lignes de faîte, riches en quartzites verts et
en ardoise rouge et grise10. Le lithium y fut découvert après que la zone eut été
exploitée pour ses réserves de potasse, pendant la Seconde Guerre mondiale.
Les cinquante années suivantes, ce métal mou et argenté ne fut prélevé qu’en
quantités modestes, jusqu’au jour où il est devenu un matériau très précieux
pour le secteur technologique.
En2014, Rockwood Holdings, spécialisée dans l’extraction du lithium, fut
rachetée pour6,2milliards de dollars par l’entreprise de fabrication chimique
Albemarle Corporation. C’est la seule compagnie des États-Unis à exploiter les
mines de lithium. Silver Peak présente donc un immense intérêt pour Elon
Musk et les nombreux autres magnats de la tech, pour une raison bien précise:
les piles rechargeables. Le lithium est un élément crucial pour leur production.
Les batteries de smartphone, par exemple, en contiennent en général 8,5
grammes. Chaque voiture électrique Tesla Model 5 a besoin de 62 kilos de
lithium pour son bloc-batterie11. Il n’a jamais été prévu que ce genre de
batterie alimente une machine aussi gourmande en énergie qu’une voiture,
mais les piles au lithium sont actuellement la seule option disponible sur le
marché de masse12. Toutes ces batteries ont une durée de vie limitée; une fois
inutilisables, elles sont mises à la poubelle.
À environ300 kilomètres au nord de Silver Peak se trouve la Gigafactory
Tesla. C’est la plus grande usine de batteries au lithium au monde. Tesla est le
premier consommateur mondial de batteries lithium-ion qu’elle achète par
volumes à Panasonic et à Samsung pour les reconditionner dans ses véhicules et
ses chargeurs domestiques. On estime que Tesla utilise chaque année plus
de28000tonnes d’hydroxyde de lithium, soit la moitié de la consommation
totale de la planète13. En fait, il serait plus juste de présenter Tesla comme un
fabricant de piles que comme un constructeur automobile14. La pénurie
imminente de minéraux critiques comme le nickel, le cuivre et le lithium
constitue un risque pour l’entreprise, rendant le lac de lithium de Silver Peak
d’autant plus convoité15. S’assurer le contrôle de cette mine, ce serait maîtriser
l’approvisionnement intérieur des États-Unis.
Comme cela a été souvent démontré, la voiture électrique est loin d’être une
solution parfaite aux émissions de dioxyde de carbone16. L’exploitation
minière, la fusion, l’exportation, l’assemblage et le transport de la chaîne
d’approvisionnement des batteries a un impact négatif important sur
l’environnement, et donc sur les communautés qu’affecte cette dégradation
écologique. Un petit nombre de panneaux solaires permettent à des particuliers
de produire leur propre énergie. Mais dans la majorité des cas, il faut se
brancher sur le secteur pour charger un véhicule électrique, or moins d’un
cinquième de toute l’électricité des États-Unis provient actuellement de sources
renouvelables17. Jusqu’ici, cela n’a pu dissuader les constructeurs automobiles
de rivaliser avec Tesla, d’où une pression croissante sur le marché des batteries
et un épuisement accéléré des réserves des minéraux nécessaires.
La computation et le commerce mondiaux dépendent des batteries.
L’expression «intelligence artificielle» évoque les algorithmes, les données, les
architectures cloud, mais rien ne peut fonctionner sans les minéraux et les
ressources offrant les composants essentiels. Les batteries lithium-ion
rechargeables sont essentielles aux appareils mobiles et aux ordinateurs
portables, les assistants numériques et l’alimentation de secours des centres de
données. Elles sous-tendent Internet et toutes les plateformes commerciales qui
s’y trouvent, de la banque à la vente au détail en passant par les opérations
boursières. De nombreux aspects de la vie moderne ont été déplacés vers «le
cloud», sans vraiment se soucier des coûts matériels. Notre travail et notre vie
privée, nos antécédents médicaux, nos loisirs, nos distractions, nos opinions
politiques – tout cela se situe dans le monde des architectures
computationnelles en réseau, auxquelles nous nous raccordons grâce à des
appareils qui tiennent au creux d’une main, et au cœur desquels il y a le
lithium.
L’exploitation minière qui fait l’IA est à la fois littérale et métaphorique. Le
nouvel extractivisme de l’exploitation des données englobe et propulse l’ancien
extractivisme minier traditionnel. L’infrastructure nécessaire pour alimenter les
systèmes d’intelligence artificielle va bien au-delà de la «pile technologique»
où se superposent modélisation des données, hardware, serveurs et réseaux. La
chaîne logistique complète de l’IA puise dans le capital, le travail et les
ressources de la Terre–et dans chaque cas, elle exige énormément18. Le cloud
est la colonne vertébrale de l’industrie de l’intelligence artificielle, et il est fait
de pierres, de saumure de lithium et de pétrole brut.
Dans
A Geology of Media
, le théoricien Jussi Parikka propose d’envisager les
médias non du point de vue de Marshall McLuhan–qui y voit des extensions
des cinq sens humains– mais comme des extensions de la Terre19. Les médias
computationnels participent désormais aux processus géologiques (et
climatologiques), de la transformation des matériaux terrestres en
infrastructures et en appareils jusqu’à l’alimentation de ces nouveaux systèmes
par les réserves de pétrole et de gaz. Envisager les médias et la technologie
comme des processus géologiques nous permet de considérer l’épuisement
radical de ressources non renouvelables que requièrent les technologies
actuelles. Chaque objet inclus dans le réseau étendu d’un système d’IA, des
routeurs réseau aux batteries en passant par les centres de données, est construit
à partir d’éléments qui ont mis des milliards d’années à se former au cœur de la
Terre.
Du point de vue du temps profond, nous extrayons l’histoire géologique de
la Terre au service d’une fraction de seconde du temps technologique actuel,
pour fabriquer des appareils comme l’Echo d’Amazon et l’iPhone, souvent
conçus pour ne durer que quelques années. La Consumer Technology
Association note que la durée de vie moyenne d’un smartphone n’est que
de 4,7 ans20. Ce cycle d’obsolescence incite à l’achat d’autres appareils,
dynamise les profits et encourage les pratiques d’extraction non durables. Après
un lent processus d’élaboration, ces minéraux, éléments et matériaux passent
par une période extraordinairement rapide de forage, de traitement, de
mélange, de fusion et de transport logistique – transformation qui leur fait
parcourir des milliers de kilomètres. Ce qui n’était d’abord que minerai tiré du
sol devient, après élimination des déchets et résidus, des appareils à utiliser et à
jeter. Le tout finit enterré dans les décharges de déchets électroniques, dans des
pays comme le Ghana ou le Pakistan. Le cycle de vie d’un système d’IA, de sa
naissance jusqu’à sa mort, inclut de nombreuses chaînes fractales : formes
d’exploitation de la main-d’œuvre humaine et des ressources naturelles,
concentrations massives de pouvoir d’entreprise et de pouvoir géopolitique. Et
tout au long de la chaîne, une consommation continue d’énergie, à grande
échelle, entretient le cycle en vie.
L’extractivisme sur lequel San Francisco s’est construite trouve un écho dans
les pratiques du secteur tech qui y est aujourd’hui implanté21. Le gigantesque
écosystème de l’IA repose sur de nombreux types d’extraction: de la collecte de
données à partir de nos activités et expressions quotidiennes jusqu’à
l’épuisement des ressources naturelles, sans oublier l’exploitation de la main-
d’œuvre du monde entier pour que ce vaste réseau planétaire soit construit et
entretenu. Et l’IA extrait de nous et de la planète bien plus de chose qu’on ne le
sait en général. La baie de San Francisco est un nœud central du mythe de l’IA,
mais nous devrons aller bien au-delà des États-Unis pour découvrir les
nombreuses couches de dégâts environnementaux et humains que nous a
légués l’industrie tech.
LA COUCHE MINÉRALOGIQUE
Les mines de lithium du Nevada ne sont qu’un des endroits où les matériaux
nécessaires à fabriquer l’IA sont extraits de la croûte terrestre. Il en existe bien
d’autres, notamment le Salar d’Uyuni, dans le sud-ouest de la Bolivie–le site
le plus riche en lithium au monde, et donc lieu de tensions politiques
constantes–ainsi que d’autres au Congo, en Mongolie, en Indonésie et dans
les déserts d’Australie-Occidentale. Ce sont les autres lieux de naissance de l’IA,
dans la vaste géographie de l’extraction industrielle. Sans les minéraux qui en
proviennent, la computation d’aujourd’hui ne fonctionnerait pas. Mais ces
matériaux se font de plus en plus rares.
En2020des scientifiques de l’U.S. Geological Survey ont publié une liste
de23minéraux qui présentent un fort «risque d’approvisionnement» pour les
fabricants : s’ils cessent d’être disponibles, des industries entières – dont le
secteur tech–s’arrêteront net22. Les minéraux critiques incluent des éléments
de terres rares comme le dysprosium et le néodyme, utilisés dans les haut-
parleurs des iPhone et les moteurs des véhicules électriques ; le germanium,
employé dans les appareils militaires infrarouges destinés aux soldats et aux
drones; et le cobalt, qui améliore les performances des batteries lithium-ion.
Il existe 17 éléments de terres rares : lanthane, cérium, praséodyme,
néodyme, prométhium, samarium, europium, gadolinium, terbium,
dysprosium, holmium, erbium, thulium, ytterbium, lutétium, scandium et
yttrium. Ils sont traités et insérés dans les ordinateurs portables et les
smartphones, qu’ils rendent plus petits et plus légers. Ces éléments se trouvent
dans les écrans couleur, les haut-parleurs, les objectifs photographiques, les
batteries rechargeables, les disques durs et bien d’autres composants. Ce sont
les ingrédients clés des systèmes de communication, des câbles à fibre optique
aux satellites, de l’amplification des signaux dans les tours de communication
mobile à la technologie GPS. Mais extraire ces minéraux du sol entraîne
souvent des violences locales et géopolitiques. L’exploitation minière est et a
toujours été une entreprise brutale. Comme l’écrit Lewis Mumford, «la mine
était l’industrie clé qui fournissait le nerf de la guerre et augmentait l’encaisse
métallique du trésor, le coffre de la guerre. D’un autre côté, elle développa la
fabrication industrielle des armes et enrichit le financier par les deux
procédés23 ». Pour comprendre le secteur de l’IA, il faut tenir compte des
guerres, des famines et des morts qu’engendre l’exploitation minière.
Une récente législation américaine régulant le forage de ces17éléments de
terres rares évoque à peine les dévastations associées à leur extraction. Le Dodd-
Frank Act de 2010 se focalisait sur la réforme du secteur financier au
lendemain de la crise financière de2008. Il incluait des dispositions spécifiques
concernant les «minéraux de conflit», les ressources naturelles extraites dans
une zone de conflit puis revendues pour financer ledit conflit. Les entreprises
utilisant de l’or, de l’étain, du tungstène et du tantale venant de République
démocratique du Congo devaient désormais être en mesure d’indiquer la
provenance de ces minéraux, en précisant si la vente finançait les milices
armées de cette région24. Comme « diamants de conflit », l’expression
« minéraux de conflit » masque les profondes souffrances et les massacres
abondants dans le secteur minier. Les bénéfices de l’exploitation minière ont
financé les opérations militaires dans le conflit qui dure depuis des décennies
dans la région du Congo, entraînant la mort de milliers de personnes et le
déplacement de millions d’habitants25. De plus, les conditions de travail dans
les mines constituent souvent une forme d’esclavage moderne26.
Il a fallu à Intel plus de quatre ans d’efforts assidus pour avoir une
connaissance minimale de sa propre chaîne d’approvisionnement27. Cette
chaîne est complexe, avec plus de16000fournisseurs dans plus d’une centaine
de pays, qui livrent les matériaux directs pour les processus de production de
l’entreprise, des outils et des machines pour les usines, ainsi que les services de
logistique et d’emballage28. En outre, il a été reproché à Intel et Apple de ne
prendre en compte que les fonderies–et non les mines proprement dites –
pour déterminer s’il s’agissait ou non de minéraux de conflit. Les géants de la
tech évaluaient les fonderies hors du Congo, et les audits étaient souvent
réalisés par des membres de la population locale. Même les certifications
brandies par l’industrie tech sont donc à présent contestées29.
L’entreprise néerlandaise Philips a également affirmé qu’elle s’efforçait de
rendre sa chaîne d’approvisionnement
conflict free
(« garantie sans conflit »).
Comme Intel, Philips a des dizaines de milliers de fournisseurs, pour les
différents composants de ses processus de fabrication30. En amont, ces
fournisseurs sont eux-mêmes liés à des milliers de fabricants de composants qui
achètent des matériaux traités à des dizaines de fonderies. Les fonderies, à leur
tour, achètent leurs matériaux à un nombre inconnu de revendeurs qui font
affaire avec des mines légales ou illégales pour se procurer les différents
minéraux qui finissent dans les composants d’ordinateur31.
Selon le fabricant d’ordinateurs Dell, la complexité des chaînes
d’approvisionnement en métaux et en minéraux pose des défis presque
insurmontables à qui souhaite produire des composants électroniques
conflict
free
. Les éléments sont blanchis par un si grand nombre d’entités le long de la
chaîne qu’il s’avère impossible d’en déterminer la source–c’est du moins ce
que prétendent les fabricants du produit fini, ce qui leur permet de pratiquer le
déni plausible pour toutes les pratiques d’exploitation qui alimentent leurs
profits32.
Tout comme les mines qui ont servi San Francisco au XIXe siècle, l’extraction
pour le compte du secteur technologique se fait en dissimulant le coût réel.
L’ignorance de la chaîne d’approvisionnement fait partie intégrante du
capitalisme: de la façon dont les entreprises se protègent par l’intermédiaire de
tiers, entrepreneurs et fournisseurs, jusqu’à celle dont les produits sont
commercialisés et annoncés aux consommateurs. Plus qu’un déni plausible,
c’est devenu une forme très commune de mauvaise foi: la main gauche ne peut
pas savoir ce que fait la main droite, d’où des formes de mise à distance
toujours plus extravagantes et complexes.
L’utilisation des mines pour financer la guerre est un des cas les plus
extrêmes d’extraction nuisible, mais la plupart des minéraux ne proviennent
pas directement de zones de conflit. Il ne suffit pourtant pas qu’ils ne causent
aucune souffrance humaine, aucune destruction environnementale. En se
concentrant sur les minéraux de conflit, problème certes important, on
détourne l’attention des dégâts causés par les mines en général. Si nous visitons
les principaux sites d’extraction de minéraux pour les systèmes
computationnels, nous découvrons de nombreux récits refoulés : rivières
décolorées par l’acide, paysages dévastés, extinction d’espèces animales et
végétales jadis vitales pour l’écologie locale.
LACS NOIRS ET LATEX BLANC
À Baotou, la plus grande ville de Mongolie-Intérieure, se trouve un lac artificiel
rempli de boue noire toxique. Il dégage une odeur de soufre et s’étend à perte
de vue, avec un diamètre de 9 kilomètres. Le lac noir contient plus de 180
millions de tonnes de poussière résultant du traitement des minerais33. Il a été
créé par le ruissellement des eaux usées venant des mines de Bayan Obo, dont
on estime qu’elles contiennent près de70% des réserves mondiales de terres
rares. C’est le plus grand dépôt d’éléments de terres rares de la planète34.
La Chine fournit au monde95% des minéraux de terres rares. Comme le
remarque Tim Maughan, la domination chinoise sur le marché doit beaucoup
moins à la géologie qu’à la volonté du pays d’accepter les dégâts
environnementaux de l’extraction35. Bien que des minéraux de terres rares
comme le néodyme et le cérium soient relativement courants, il faut pour les
rendre utilisables recourir à un processus dangereux, en les dissolvant dans
d’importants volumes d’acide sulfurique et d’acide nitrique. Ces bains d’acides
produisent une quantité de résidus toxiques qui remplissent le lac mort de
Baotou. Ce n’est qu’un lieu parmi d’autres qui regorge de « ces déchets que
nous voulons oublier », pour reprendre l’expression de la chercheuse
environnementale Myra Hird36.
À ce jour, aucun autre métal ne se prête aux usages électroniques, optiques et
magnétiques, mais l’exploitation des éléments de terres rares fournit une
proportion énorme de déchets et de toxines. David Abraham, stratège des
ressources naturelles, a décrit les mines du Jiangxi, où l’on extrait le dysprosium
et le terbium employés dans toutes sortes d’appareils high-tech. «Seul0,2%
de l’argile forée contient les précieux éléments de terres rares. Cela signifie
que 99,8 % de la terre extraite par l’exploitation minière est rejetée comme
déchets, ces résidus étant déchargés dans les collines et les cours d’eau», ce qui
crée de nouveaux polluants comme l’ammonium37. Pour raffiner une tonne de
ces éléments, « l’entreprise China Rare Earth estime que le processus
produit75000litres d’eau acide et une tonne de résidus radioactifs38».
À environ 4 500 kilomètres au sud de Baotou se trouvent les petites îles
indonésiennes de Bangka et de Belitung, au large de Sumatra. Bangka et
Belitung produisent 90 % de l’étain indonésien, utilisé dans les semi-
conducteurs. L’Indonésie est le deuxième producteur mondial de ce métal,
après la Chine. La société nationale productrice d’étain PT Timah fournit
directement des entreprises comme Samsung, ainsi que des fabricants de pâte à
souder comme Chernan et Shenmao, qui fournissent à leur tour Sony, LG et
Foxconn –eux-mêmes fournisseurs d’Apple, de Tesla et d’Amazon39.
Sur ces petites îles, les mineurs du « marché gris », qui ne sont pas
officiellement employés, s’installent sur des pontons de fortune et, munis de
tiges de bambou, ils raclent le fond de l’eau avant de plonger pour récupérer
l’étain à la surface en collant leur bouche à d’énormes tuyaux d’aspirateur. Les
mineurs vendent cet étain à des intermédiaires, qui recueillent aussi le minerai
extrait dans les mines autorisées, et ils mélangent ces diverses provenances pour
le revendre à des entreprises comme Timah40. Sans aucune réglementation, le
processus se déroule hors de toute protection officielle des travailleurs ou de
l’environnement. Comme le signale la journaliste d’investigation Kate Hodal,
«les mines d’étain sont une activité lucrative mais destructrice, qui laisse des
cicatrices sur le paysage de l’île, qui en détruit les fermes et les forêts, qui en tue
les réserves de poissons et les récifs coralliens, et qui limite le tourisme à ses
jolies plages bordées de palmiers. Les dégâts sont surtout visibles depuis le ciel,
les poches de forêt verdoyante étant disséminées au milieu d’immenses
étendues de terre orange stérile. Quand le paysage n’est pas dominé par les
mines, il est criblé de tombes, dont beaucoup abritent les cadavres de mineurs
d’étain morts au fil des siècles41». Les mines sont partout: dans les jardins,
dans les forêts, sur le bord de la route, sur les plages. C’est un paysage dévasté.
Nous avons l’habitude de nous focaliser sur le monde qui nous entoure,
celui que nous voyons, sentons et touchons tous les jours. Il nous permet de
nous enraciner au sein de notre communauté, avec nos situations et
préoccupations habituelles. Mais pour voir toute la chaîne
d’approvisionnement de l’IA, il faut envisager l’ensemble de la planète, être
sensible à la manière dont l’histoire et les dégâts spécifiques, tout en variant
d’un lieu à l’autre, n’en sont pas moins profondément interconnectés par les
nombreuses forces d’extraction.
On peut observer ces modèles dans l’espace, mais aussi dans le temps. Les
câbles télégraphiques transatlantiques sont l’infrastructure essentielle qui
convoie les données entre les continents, emblème de la mondialisation des
communications et des capitaux. Ils sont aussi le produit matériel du
colonialisme, avec ses pratiques d’extraction, de conflit et de destruction
environnementale. À la fin du XIXe siècle, un arbre d’Asie du sud-est appelé
Palaquium gutta
fut au centre du boom des câbles. Cet arbre, qu’on trouve
surtout en Malaisie, produit un latex naturel d’un blanc laiteux appelé gutta-
percha. Après que le scientifique anglais Michel Faraday eut publié en1848,
dans le
Philosophical Magazine
, une étude consacrée à l’utilisation de ce
matériau comme isolant électrique, la gutta-percha devint rapidement l’enfant
chéri du monde de l’ingénierie. Aux ingénieurs, la gutta-percha apparaissait
comme la solution au problème consistant à isoler les câbles télégraphiques
pour qu’ils résistent aux conditions difficiles et changeantes du sol océanique.
Les fils de cuivre torsadés avaient besoin de quatre couches de sève organique
pour les protéger de l’eau et pour transporter les courants électriques.
À mesure que le télégraphe sous-marin se développait à travers le monde, la
demande de troncs de
Palaquium gutta
augmenta elle aussi. L’historien John
Tully décrit comment les ouvriers malais, chinois et dayak étaient payés une
misère pour le travail dangereux d’abattage des arbres et de lente collecte du
latex42. Le latex était traité puis vendu, par le biais des marchés de Singapour,
jusqu’en Grande-Bretagne où il était transformé, notamment, en kilomètres de
gaine pour les câbles sous-marins enveloppant le monde. Comme l’écrit Nicole
Starosielski, spécialiste des médias, «les stratèges militaires voyaient les câbles
comme le plus efficace et le plus sûr des modes de communication avec les
colonies, et par conséquent de contrôle sur ces territoires43 ». Aujourd’hui
encore, la trajectoire des câbles sous-marins suit celle des premiers réseaux
coloniaux, entre métropole et périphérie des empires44.
À maturité, un
Palaquium gutta
pouvait donner300 grammes de latex. Mais
le premier câble transatlantique, posé en 1857, mesurait près
de3000kilomètres et pesait 2000tonnes: il exigeait environ250tonnes de
gutta-percha. Pour produire seulement une tonne de ce matériau, il fallait
environ900000troncs d’arbre. Les jungles de Malaisie et de Singapour furent
décimées; au début des années1880, le
Palaquium gutta
avait disparu. Dans
un ultime effort pour sauver leur chaîne d’approvisionnement, les Britanniques
votèrent en 1883 l’interdiction de la récolte du latex, mais l’espèce était
pratiquement éteinte45.
La catastrophe environnementale de la gutta-percha, à l’aube de la société
mondiale de l’information, montre combien sont étroites les relations entre la
technologie et ses matériaux, ses environnements et ses pratiques de travail46.
Tout comme les hommes du XIXe siècle précipitèrent le désastre écologique
pour fabriquer leurs câbles, les mines et les chaînes mondiales
d’approvisionnement mettent toujours plus en péril le délicat équilibre
écologique de notre époque.
Une sombre ironie est à l’œuvre dans cette préhistoire du numérique
planétaire. Les vastes systèmes d’IA suscitent aujourd’hui des formes
d’extraction de l’environnement, des données et des humains, mais à partir du
milieu du XIXe siècle, le calcul algorithmique fut le résultat du désir de gérer et
de contrôler la guerre, la population ou le changement climatique.
L’historienne Theodora Dryer raconte comment le père fondateur de la
statistique mathématique, le scientifique anglais Karl Pearson, cherchait à
résoudre les incertitudes de la planification en élaborant de nouvelles
architectures de données qui incluaient les écarts-types et des techniques de
corrélation et de régression. Ses méthodes furent à leur tour étroitement
associées à l’anthropologie raciale, car Pearson–tout comme son mentor Sir
Francis Galton, statisticien et fondateur de l’eugénisme – voyait dans la
statistique « la première étape d’une enquête sur les effets possibles d’un
processus sélectif sur les caractéristiques d’une race47».
Comme l’écrit Dryer, « à la fin des années 1930, ces architectures de
données–techniques de régression, écart-type et corrélations–allaient devenir
les outils dominants pour interpréter les informations concernant la société et
l’État sur la scène mondiale. Le “mouvement statistique mathématique” de
l’entre-deux-guerres, qui suivait les nœuds et les routes du commerce
planétaire, devint un gigantesque effort48 ». Cette entreprise continua à
s’étendre après la Seconde Guerre mondiale, à mesure que de nouveaux
systèmes computationnels étaient utilisés dans des domaines comme les
prévisions météorologiques en période de sécheresse, pour rendre plus
productive l’agriculture industrielle49. Vus sous cet angle, le calcul
algorithmique, la statistique computationnelle et l’intelligence artificielle furent
élaborés au XXe siècle pour relever des défis sociaux et environnementaux, mais
serviraient ensuite à intensifier l’extraction et l’exploitation industrielle et à
appauvrir encore plus les ressources environnementales.
LE MYTHE DE LA TECH PROPRE
Les minéraux sont la colonne vertébrale de l’IA, mais le sang qui irrigue ses
veines reste l’énergie électrique. On envisage rarement la computation avancée
en termes d’empreinte carbone, de combustibles fossiles et de pollution: des
métaphores comme «le cloud» supposent une entité flottante et délicate, au
sein d’une industrie naturelle, verte50. Les serveurs sont cachés dans des centres
de données très ordinaires, et leurs caractéristiques polluantes sont bien moins
visibles que le panache de fumée qui sort des centrales électriques au charbon.
Le secteur tech met très en avant sa politique environnementale, ses initiatives
durables et ses efforts pour que l’IA aide à résoudre les problèmes climatiques.
Tout cela s’inscrit dans la fabrication de son image publique comme secteur
respectueux de l’environnement et sans émissions de carbone. En réalité, il faut
une quantité gargantuesque d’énergie pour gérer les infrastructures
computationnelles d’Amazon Web Services ou de Microsoft Azure, et
l’empreinte carbone des systèmes d’IA présents sur ces plateformes augmente
sans cesse51.
Comme l’écrit Tung-Hui Hu dans
A Prehistory of the Cloud
, «le cloud est
une technologie extractive, grande consommatrice de ressources, qui convertit
l’eau et l’électricité en puissance computationnelle, créant au passage
d’importants dégâts environnementaux qu’elle s’efforce ensuite de masquer52».
Cette infrastructure gourmande en énergie est devenue un grand sujet de
préoccupation. Certes, le secteur a accompli des efforts considérables pour
améliorer le rendement énergétique des centres de données et pour accroître
leur recours aux énergies renouvelables. Pourtant, l’empreinte carbone de
l’infrastructure computationnelle de la planète rejoint déjà celle de
l’aéronautique à son comble, et elle augmente plus vite53. Les estimations
varient, des chercheurs comme Lotfi Belkhir et Ahmed Elmeligi affirmant que
le secteur tech représentera 14 % des émissions de gaz à effet de serre
d’ici2040, tandis qu’une équipe suédoise prédit que les besoins en électricité
des centres de données seront multipliés par quinze d’ici203054.
En examinant de près la capacité computationnelle nécessaire pour
construire les modèles IA, on voit que le désir de hausse exponentielle de leur
vitesse et de leur précision a un coût élevé pour la planète. Les demandes de
traitement pour former les modèles IA, et donc leur consommation d’énergie,
n’ont encore fait l’objet que de peu d’études. L’un des premiers articles
consacrés à cette question, paru en 2019, émane d’Emma Strubell et de son
équipe à l’université du Massachusetts à Amherst. Cherchant à comprendre
l’empreinte carbone du traitement automatique du langage naturel (TALN),
ces chercheurs ont commencé à esquisser des estimations possibles en faisant
tourner des modèles IA pendant des centaines de milliers d’heures55. Les
premiers résultats furent stupéfiants. L’équipe de Strubell a découvert qu’un
seul modèle TALN (traitement automatique du langage naturel) produisait
environ330 tonnes d’émissions de dioxyde de carbone, l’équivalent de cinq
véhicules à essence durant leur vie entière (fabrication comprise) ou125vols
aller-retour entre New York et Pékin56.
Pire encore, les chercheurs notent qu’il s’agit là, au mieux, d’une estimation
optimiste, qui ne reflète pas la véritable échelle commerciale sur laquelle
opèrent des entreprises comme Apple et Amazon, réunissant des ensembles de
données collectées sur la totalité d’Internet et nourrissant leurs propres modèles
TALN pour que des systèmes d’IA comme Siri et Alexa paraissent plus
humains. Mais la quantité exacte d’énergie consommée par les modèles IA du
secteur tech est inconnue; c’est une information jalousement gardée, comme
les plus importants secrets d’entreprise. Là encore, l’économie des données
repose sur une ignorance soigneusement entretenue en matière
d’environnement.
Dans le champ de l’IA, la pratique courante est de maximiser les cycles
computationnels pour améliorer la performance, conformément à l’idée que
plus c’est gros, mieux ça vaut. Comme l’écrit Rich Sutton, de DeepMind, «les
méthodes qui maximisent la computation sont en fin de compte les plus
efficaces, et de loin57». La technique computationnelle de test par force brute
dans l’apprentissage de l’IA, ou celle qui consiste à collecter systématiquement
toujours plus de données et à utiliser toujours plus de cycles jusqu’à obtenir un
meilleur résultat, a provoqué une forte hausse de la consommation d’énergie.
OpenAI estime que, depuis2012, la puissance de calcul utilisée pour former
un seul modèle d’IA est chaque année multipliée par dix, parce que les
concepteurs «trouvent toujours des moyens d’utiliser plus de puces en parallèle
et sont prêts à en payer le coût économique58 ». Quand on ne pense qu’en
termes de coût économique, on voit moins le prix local et environnemental des
cycles de computation utilisés pour renforcer l’efficacité. La tendance au
«maximalisme computationnel» a un profond impact écologique.
Les centres de données comptent parmi les principaux consommateurs
d’électricité au monde59. Pour alimenter cette machine aux multiples niveaux,
il faut de l’électricité sous la forme de charbon, de gaz, d’énergie nucléaire ou
renouvelable. Certaines entreprises réagissent à l’inquiétude croissante quant à
la consommation énergétique du numérique à grande échelle, Apple et Google
se prétendant neutres en carbone (ce qui signifie qu’ils compensent leurs
émissions de carbone en achetant des crédits carbone) et Microsoft promettant
d’avoir un bilan carbone négatif d’ici 2030. Mais les employés de ces
entreprises ont milité en faveur d’une réduction des émissions à tous les
niveaux, de préférence à l’achat d’indulgences motivé par la culpabilité
environnementale60. De plus, Microsoft, Google et Amazon offrent sous
licence leurs plateformes, leurs ingénieurs et leurs infrastructures d’IA à des
entreprises de combustibles fossiles pour les aider à localiser et à extraire ces
combustibles du sol, ce qui rend le secteur encore plus responsable du
changement climatique anthropogénique.
En dehors des États-Unis, d’autres nuages de dioxyde de carbone
s’accumulent. Les centres de données chinois tirent 73% de leur électricité du
charbon, et ont dégagé en2018 environ99millions de tonnes de CO261. On
s’attend à ce que la consommation chinoise d’électricité liée à l’infrastructure
des centres de données augmente de deux tiers d’ici 202362. Greenpeace a
donné l’alarme face aux colossaux besoins en énergie des plus grandes
entreprises tech de Chine, affirmant que « les principales sociétés chinoises,
dont Alibaba, Tencent et GDS, doivent renforcer de façon spectaculaire leur
recours aux énergies propres et dévoiler les chiffres relatifs à leur consommation
énergétique63 ». Mais l’impact à long terme de l’électricité au charbon se
retrouve partout et transcende les frontières nationales. La nature planétaire de
l’extraction des ressources et de ses conséquences va bien au-delà de ce que
l’État-nation est censé maîtriser.
L’eau nous renseigne aussi sur le coût computationnel réel. L’histoire de la
consommation d’eau aux États-Unis est pleine de batailles et d’accords secrets;
comme pour le secteur computationnel, les marchés négociés autour de l’eau
ne sont jamais divulgués. L’un des plus grands centres de données américains,
ouvert en2013à Bluffdale, Utah, appartient à la National Security Agency. Il
est impossible de visiter l’Intelligence Community Comprehensive National
Cybersecurity Initiative Data Center. Mais en traversant la banlieue adjacente,
j’ai trouvé une impasse sur une colline hérissée d’armoises, d’où on a une vue
imprenable sur ce site tentaculaire couvrant plus de100000m2. Cet endroit
est en quelque sorte le symbole d’un avenir fondé sur la capture
gouvernementale des données, puisqu’il apparaît dans des films comme
Citizenfour
et est évoqué dans des milliers d’articles de journaux sur la NSA. Il
n’offre pourtant rien de bien remarquable à première vue: c’est un gigantesque
entrepôt de stockage assorti d’un immeuble de bureaux gouvernemental.
La lutte pour l’eau a commencé avant même que le centre de données ne
soit inauguré, puisqu’il est construit en Utah, où la sècheresse sévit depuis
longtemps64. La presse locale a voulu obtenir confirmation de la
consommation d’eau estimée (6,5millions de litre par jour), mais la NSA a
d’abord refusé de révéler ses chiffres, a supprimé tout détail des archives
publiques, et a prétendu que sa consommation d’eau était une question de
sécurité nationale. Les militants anti-surveillance ont publié des brochures
incitant à mettre un terme au soutien matériel (eau, énergie) dont jouit la
surveillance d’État, et ils ont élaboré une stratégie selon laquelle un contrôle
juridique sur l’utilisation d’eau pourrait contribuer à fermer le site65.
Cependant, la ville de Bluffdale avait déjà conclu un accord avec la NSA pour
plusieurs années, s’engageant à vendre l’eau à un tarif bien inférieur à la
moyenne; en contrepartie, le site promettait à la région un espoir de croissance
économique66. Aujourd’hui, la géopolitique de l’eau se combine étroitement
aux mécanismes et aux ambitions des centres de données, de la computation et
du pouvoir, dans tous les sens de ces termes. Du haut des collines arides qui
surplombent l’entrepôt de données de la NSA, toutes les querelles et
dissimulations concernant l’eau semblent logiques : ce paysage souffre de
pénurie, et l’eau utilisée pour rafraîchir les serveurs est détournée des
communautés et des habitats qui en dépendent pour vivre.
Tout comme la sale besogne du secteur minier était très éloignée des
entreprises et des citadins qui en bénéficiaient le plus, la majorité des centres de
données sont très éloignés des grands pôles de peuplement, dans des déserts ou
dans de lointaines banlieues semi-industrielles. Cela renforce notre impression
que le cloud est invisible et abstrait, alors qu’il est tout à fait concret et affecte
le climat et l’environnement, même si cela n’est pas encore pleinement reconnu
et expliqué. Le cloud est une réalité terrestre, et pour qu’il continue à grandir, il
doit augmenter ses ressources, ses couches de logistique et de transport, en
constante évolution.
LA COUCHE LOGISTIQUE
Jusqu’ici, nous avons envisagé la composition matérielle de l’IA, des éléments
de terres rares jusqu’à l’énergie. En enracinant notre analyse dans la matérialité
spécifique de l’IA –les choses, les lieux et les personnes–nous verrons mieux
comment ces différentes parties fonctionnent au sein de plus vastes systèmes de
pouvoir. Prenons pour exemple les machines logistiques mondiales qui
déplacent les minéraux, le carburant, le matériel, les travailleurs et les produits
d’IA grand public autour de la planète67. Le spectacle vertigineux de la
logistique et de la production offert par des sociétés comme Amazon serait
impossible sans l’essor et l’acceptation générale d’un objet métallique
standardisé : le conteneur de fret. Comme les câbles sous-marins, les
conteneurs unissent communications mondiales, transport et capital, en un
exercice que les mathématiciens appellent « transport optimal », en
l’occurrence, l’optimisation de l’espace et des ressources dans les voies
commerciales de la planète.
Les conteneurs de fret standardisés (eux-mêmes construits à partir
d’éléments terrestres de base, carbone et fer transformés en acier) ont permis
l’explosion de l’industrie mondiale des transports maritimes, qui à son tour a
rendu possible d’envisager et de modéliser la planète comme une seule et
même gigantesque usine. Le conteneur est l’unité de valeur fondamentale,
comme une pièce de Lego, qui peut parcourir des milliers de kilomètres avant
d’atteindre sa destination finale, composante modulaire d’un plus vaste système
de livraison. En2017, la capacité des navires porte-conteneurs du commerce
maritime totalisait près de250millions de tonnes de port en lourd, dominée
par des sociétés géantes comme Maersk au Danemark, la Mediterranean
Shipping Company en Suisse, et le Groupe CMA CGM en France, chacune
possédant plusieurs centaines de navires68. Pour cette activité commerciale, le
transport maritime est un moyen relativement peu coûteux de traverser le
système vasculaire de l’usine globale, mais il masque des coûts externes bien
plus importants. Tout comme ils tendent à négliger les réalités physiques et les
coûts de l’infrastructure IA, la culture populaire et les médias s’intéressent
rarement à l’industrie du transport. Rose George parle à ce propos de «cécité
des mers69».
Ces dernières années, les navires porte-conteneurs ont produit 3,1 % des
émissions annuelles mondiales de dioxyde de carbone, soit plus que tout ce
qu’a produit l’Allemagne70. Pour minimiser leurs coûts internes, la plupart des
entreprises de transport maritime utilisent du carburant de qualité inférieure
en quantité astronomique, d’où une proportion accrue de soufre et d’autres
substances toxiques dans l’atmosphère. On estime qu’un porte-conteneurs
dégage autant de pollution que 50 millions de voitures, et chaque année
60000décès sont attribués indirectement à la pollution causée par le secteur
du transport maritime71.
Même des sources favorables à ce secteur, comme le World Shipping
Council, admettent que l’on perd chaque année des milliers de conteneurs, qui
partent à la dérive ou coulent à pic72. Certains transportent des substances
toxiques qui se répandent dans les océans ; d’autres libèrent des milliers de
canards en caoutchouc qui s’échouent un peu partout pendant des décennies73.
En général, les ouvriers passent près de six mois en mer, souvent avec des
postes de travail prolongés et sans accès aux communications externes.
Là aussi, les coûts les plus importants de la logistique globale pèsent sur
l’atmosphère terrestre, l’écosystème océanique et les travailleurs les moins
payés. L’imaginaire de l’IA propagé par les entreprises n’évoque jamais les coûts
à long terme et le trajet des matériaux nécessaires pour construire les
infrastructures computationnelles ou l’énergie requise pour les alimenter. La
croissance rapide du
cloud computing
, présenté comme respectueux de
l’environnement, a paradoxalement provoqué une expansion des frontières de
l’extraction de ressources. C’est seulement en tenant compte de ces coûts
cachés, de ces plus vastes ensembles d’acteurs et de systèmes, qu’on comprend
ce que signifie le glissement vers une automatisation croissante. Cela nécessite
d’aller à contre-courant de notre imaginaire technologique habituel,
complètement détaché des préoccupations terrestres. Si l’on fait sur Internet
une recherche d’image en rapport avec l’intelligence artificielle, on obtient des
dizaines de photos de cerveaux lumineux et de code binaire flottant en chiffres
bleus dans l’espace ; de même, l’opinion collective répugne à affronter la
matérialité de ces technologies. À l’inverse, nous avons commencé ici par la
terre, par l’extraction, par des exemples de puissance industrielle, et nous allons
voir comment ces schémas se répètent dans les systèmes de travail et de
données.
L’IA COMME MÉGAMACHINE
À la fin des années 1960, l’historien et philosophe des technologies Lewis
Mumford a élaboré le concept de
mégamachine
pour montrer que tous les
systèmes, si immenses qu’ils soient, reposent sur le travail de nombreux acteurs
humains74. Pour Mumford, le Manhattan Project était la mégamachine
moderne typique, dont on avait dissimulé la complexité non seulement au
public mais aussi aux milliers de personnes qui travaillaient dessus dans
différents sites sécurisés aux États-Unis. Au total, 130 000 individus avaient
œuvré dans le secret total, sous la direction de l’armée, pour élaborer une arme
qui allait faire237000morts (selon les estimations modérées) en tombant sur
Hiroshima et Nagasaki en1945. La bombe atomique dépendait d’une chaîne
aussi complexe que secrète d’approvisionnement, de logistique et de travail
humain.
L’intelligence artificielle est un autre type de mégamachine, un ensemble
d’approches technologiques dépendant d’infrastructures industrielles, de
chaînes d’approvisionnement et de travail humain qui s’étendent tout autour
du globe mais qui sont maintenues dans l’ombre. Nous avons vu que l’IA n’est
pas faite que de bases de données et d’algorithmes, d’apprentissage
automatique et d’algèbre linéaire. Elle est métamorphique: elle repose sur la
fabrication, le transport et le travail physique; sur les centres de données et les
câbles sous-marins qui relient les continents ; sur les appareils personnels et
leurs composants bruts; sur les signaux de transmission qui traversent les airs;
sur les ensembles de données produits en écumant Internet; et sur des cycles
computationnels continus. Tout cela a un prix.
Nous avons examiné les relations entre villes et mines, sociétés et chaînes
d’approvisionnement, et les topographies d’extraction par lesquelles elles sont
connectées. L’enchevêtrement fondamental de la production, de la fabrication
et de la logistique nous rappelle que les mines qui alimentent l’IA sont
partout : non seulement situées dans des lieux discrets, mais éparpillées à
travers toute la géographie de la Terre, formant ce que Mazen Labban appelle
la «mine planétaire75». Il ne s’agit pas de nier l’existence de nombreux sites
spécifiques où l’exploitation minière est menée à des fins technologiques.
Labban fait plutôt observer que la mine planétaire élargit l’extraction et la
reconstitue selon de nouvelles configurations, en étendant les pratiques des
mines dans de nouveaux espaces et de nouvelles interactions à travers le
monde.
Il est vital de trouver de nouvelles méthodes pour comprendre les racines
matérielles et humaines profondes des systèmes d’IA en cette période
historique, alors que l’impact du changement climatique anthropogénique est
déjà très avancé. Mais c’est plus facile à dire qu’à faire, en partie parce que les
nombreuses industries formant la chaîne systémique de l’IA dissimulent le coût
de leurs opérations. De plus, l’échelle requise pour construire des systèmes
d’intelligence artificielle est trop complexe, trop obscurcie par le droit de la
propriété intellectuelle, et trop empêtrée dans la complexité logistique et
technique pour que nous y voyions clair. Mais notre objectif n’est pas de rendre
transparents ces assemblages complexes : plutôt que d’essayer de voir à
l’intérieur, nous établirons des connexions entre ces systèmes multiples pour
comprendre comment ils fonctionnent les uns avec les autres76. Ainsi, notre
cheminement suivra la logique du coût environnemental et humain de l’IA
pour le replacer dans le contexte des pratiques d’extraction et de classification
qui s’entrelacent dans notre quotidien. C’est en réfléchissant ensemble sur ces
questions que nous pourrons progresser vers plus de justice.
Je retourne une dernière fois à Silver Peak. Avant d’arriver en ville, je me
gare sur le bord de la route pour déchiffrer un vieux panneau. C’est le
marqueur historique174du Nevada, consacré à la création et à la destruction
d’une petite ville nommée Blair. En 1906, la Pittsburgh Silver Peak Gold
Mining Company racheta les mines de la région. Anticipant un boom
immobilier, les spéculateurs fonciers acquirent toutes les parcelles disponibles
près de Silver Peak, ainsi que les droits relatifs à l’eau, et les prix artificiels
atteignirent des records. La compagnie minière prospecta donc à quelques
kilomètres plus au nord et déclara vouloir y fonder une ville nouvelle: Blair.
On construisit une usine de cyanure d’une centaine de machines, la plus
grande de l’État, pour y exploiter les mines par lixiviation, et une nouvelle voie
ferrée relia Blair à la ligne principale Tonopah&Goldfield. La ville connut
une prospérité de courte durée. Plusieurs centaines de personnes furent attirées
par les emplois, malgré des conditions de travail pénibles. Néanmoins, avec
une exploitation minière aussi forte, le cyanure a commencé à empoisonner le
sol, tandis que les veines d’or et d’argent s’appauvrissaient, jusqu’à
l’épuisement. En1918, Blair était pratiquement déserte. En moins de douze
ans, tout fut terminé. Les ruines sont indiquées sur les cartes locales, à
45minutes de marche.
Chaleur écrasante dans le désert. Je n’entends que le crissement métallique
des cigales et le vrombissement occasionnel d’un avion. Je décide de gravir la
colline. Quand j’atteins les bâtiments en pierre au sommet de la longue route
de terre battue, je suis épuisée. Je me réfugie parmi les vestiges de ce qui fut
jadis la maison d’un mineur. Il ne reste pas grand-chose: un peu de vaisselle
brisée, des éclats de bouteilles en verre, quelques boîtes de conserve rouillées. À
la belle époque de Blair, plusieurs saloons prospéraient dans les parages et un
hôtel à deux étages accueillait les visiteurs. Ce n’est plus qu’un amas de briques.
Là où se trouvait jadis une fenêtre, la vue s’étend jusqu’en bas de la vallée. Je
suis frappée à l’idée que Silver Peak aussi sera bientôt une ville fantôme.
L’exploitation actuelle de la mine de lithium est agressive, en réponse à une
forte demande, et personne ne sait combien cela durera. Les estimations les
plus optimistes parlent de quarante ans, mais la fin pourrait venir bien plus
vite. Alors les lacs de lithium sous la Clayton Valley seront exsangues, vidés
pour des batteries destinées à la décharge. Et Silver Peak retournera à sa vie
antérieure, un endroit vide et tranquille en bordure d’un ancien marais salant
aujourd’hui asséché.
1Brechin,
Imperial San Francisco
.
2
Ibid
., p.29.
3Agricola cité dans Brechin, p.25.
4Cité dans Brechin, p.50.
5Brechin, p.69.
6Voir, par exemple, Davies et Young,
Tales from the Dark Side of the City
; et
Council on Hemispheric Affairs, «A Grey Goldmine».
7 Pour en savoir plus sur les changements survenus dans les rues de San
Francisco, voir Bloomfield, «History of the California Historical Society’s
New Mission Street Neighborhood».
8 San Francisco Department of Homelessness and Supportive Housing,
« Street Homelessness » ; voir aussi Anti-Eviction Mapping Project,
«Counterpoints: An Atlas of Displacement and Resistance».
9Gee, «San Francisco or Mumbai?».
10En juillet1909, H. W. Turner a publié une enquête géologique détaillée sur
la région de Silver Peak. Dans une prose superbe, il y vante la diversité
géologique de ce qu’il décrivait comme «des pentes de tuf rose et crème, et
des collines d’un rouge brique éclatant ». Turner, « Contribution to the
Geology of the Silver Peak Quadrangle, Nevada», p.228.
11Lambert, «Breakdown of Raw Materials in Tesla’s Batteries and Possible
Breaknecks».
12Bullis, «Lithium-Ion Battery».
13«Chinese Lithium Giant Agrees to Three-Year Pact to Supply Tesla.»
14Wald, «Tesla Is a Battery Business».
15Scheyder, «Tesla Expects Global Shortage».
16Wade, «Tesla’s Electric Cars Aren’t as Green».
17 Business Council for Sustainable Energy, « 2019 Sustainable Energy in
America Factbook»; U.S. Energy Information Administration, «What Is
U.S. Electricity Generation by Energy Source?».
18Whittaker
et al
.,
AI Now Report2018
.
19 Parikka,
A Geology of Media
, p. vii-viii ; McLuhan,
Pour comprendre les
médias
.
20Ely, «Life Expectancy of Electronics».
21Mezzadra et Neilson emploient le terme «extractivisme» pour désigner la
relation entre différentes formes d’opérations extractives dans le capitalisme
contemporain, qu’on voit se répéter dans le contexte de l’IA. Mezzadra et
Neilson, «Multiple Frontiers of Extraction».
22Nassar
et al
., «Evaluating the Mineral Commodity Supply Risk of the US
Manufacturing Sector».
23Mumford,
Technique et civilisation
, p.76.
24Voir, par exemple, Ayogu et Lewis, «Conflict Minerals».
25Burke, «Congo Violence Fuels Fears of Return to90s Bloodbath».
26Dizolele, «Congo’s Bloody Coltan».
27
Ibid
.
28Intel, «Transforming Intel’s Supply Chain with Real-Time Analytics».
29Voir, par exemple, la lettre ouverte de70signataires qui dénonce les limites
du processus de certification
conflict free
: «An Open Letter».
30Philips, «Responsible Minerals Policy and Due Diligence».
31Dans
The Elements of Power
, David S. Abraham décrit les réseaux invisibles
de négociants en métaux rares dans les chaînes d’approvisionnement
mondiales de l’électronique : « Le réseau qui achemine les métaux rares
depuis la mine jusqu’à votre ordinateur passe par un réseau obscur de
négociants, de transformateurs et de fabricants de composants. Les
négociants sont les intermédiaires qui font plus qu’acheter et vendre des
métaux rares : ils aident à réguler l’information et sont le lien caché qui
permet de naviguer dans le réseau entre les usines de métaux et les
composants de nos ordinateurs» (p.89).
32Dell, «Responsible Minerals Sourcing».
33Liu, «Chinese Mining Dump».
34Mindat.org, «Bayan Obo Deposit».
35Maughan, «The Dystopian Lake Filled by the World’s Tech Lust».
36Hird, «Waste, Landfills, and an Environmental Ethics of Vulnerability»,
p.105.
37Abraham,
The Elements of Power
, p.175.
38
Ibid
., p.176.
39Simpson, «The Deadly Tin Inside Your Smartphone».
40Hodal, «Death Metal».
41
Ibid
.
42Tully, «A Victorian Ecological Disaster».
43Starosielski,
The Undersea Network
, p.34.
44Voir Couldry et Mejías,
The Costs of Connection
, p.46.
45
Ibid
., p.574.
46Pour un excellent récit de l’histoire des câbles sous-marins, voir Starosielski,
The Undersea Network
.
47Dryer, «Designing Certainty», p.45.
48
Ibid
., p.46.
49
Ibid
., p.266-268.
50 Ce problème est désormais mieux mis en avant, notamment par les
chercheurs d’AI Now. Voir Dobbe et Whittaker, «AI and Climate Change».
51 À titre d’exemple des premières recherches dans ce domaine, voir
Ensmenger, «Computation, Materiality, and the Global Environment».
52Hu, A
Prehistory of the Cloud
, p.146.
53 Jones, « How to Stop Data Centres from Gobbling Up the World’s
Electricity». Pour y remédier, certains progrès ont été accomplis grâce à des
pratiques plus efficaces en matière d’énergie, mais d’importants défis à long
terme subsistent. Masanet
et al
., «Recalibrating Global Data Center Energy-
Use Estimates».
54Belkhir et Elmeligi, «Assessing ICT Global Emissions Footprint»; Andrae
et Edler, «On Global Electricity Usage».
55 Strubell, Ganesh et McCallum, « Energy and Policy Considerations for
Deep Learning in NLP».
56
Ibid
.
57Sutton, «Bitter Lesson».
58OpenAI, «AI and Compute».
59Cook
et al
.,
Clicking Clean
.
60Ghaffary, «More Than1,000Google Employees Signed a Letter ». Voir
aussi Apple, «Apple s’engage à être100% neutre en carbone»; Harrabin,
«Google Says Its Carbon Footprint Is Now Zero»; Smith, «Microsoft Will
Be Carbon Negative by2030».
61Greenpeace, «Powering the Cloud».
62
Ibid
.
63
Ibid
.
64Hogan, «Data Flows and Water Woes».
65«Off Now».
66Carlisle, «Shutting Off NSA’s Water Gains Support».
67 La matérialité est un concept complexe, qui fait l’objet d’une abondante
littérature dans des domaines tels que les sciences et technologies,
l’anthropologie et l’étude des médias. En un sens, la matérialité renvoie à ce
que Leah Lievrouw décrit comme «le caractère physique des objets qui les
rend utiles et utilisables à certaines fins dans des conditions particulières»
(citée dans Gillespie, Boczkowski et Foot,
Media Technologies
, p.25). Mais
comme le disent Diana Coole et Samantha Frost, « la matérialité est
toujours plus que la “simple” matière: un excès, une force, une vitalité, une
relation ou une différence qui rend la matière active, autocréatrice,
productive, improductive» (
New Materialisms
, p.9).
68 Conférence des Nations unies sur le commerce et le développement
(CNUCED), «Étude sur les transports maritimes», 2017.
69George,
Ninety Percent of Everything
, p.4.
70Schlanger, «If Shipping Were a Country».
71Vidal, «Health Risks of Shipping Pollution».
72World Shipping Council, «Containers Lost at Sea–2017 Update».
73Adams, «Lost at Sea».
74Mumford,
Le Mythe de la machine
.
75Labban, «Deterritorializing Extraction». Pour développer cette idée, voir
Arboleda,
Planetary Mine
.
76Ananny et Crawford, «Seeing without Knowing».
2
La main-d’œuvre
Quand j’entre dans le vaste centre de distribution d’Amazon à Robbinsville,
New Jersey, la première chose que je remarque, c’est un grand panneau
Time
Clock
(«Pointeuse»). Il dépasse de l’un des pylônes en béton jaune vif répartis
à travers cet immense espace de110000m2. C’est un entrepôt de distribution
majeur pour les petits objets, un nœud central pour le nord-est des États-Unis.
Il offre un spectacle vertigineux de la logistique et de la standardisation
modernes, conçus pour accélérer la livraison des colis. Des dizaines de
panneaux
Time Clock
apparaissent à intervalles réguliers le long de l’allée
principale. Chaque seconde de travail est surveillée et comptabilisée. Les
employés–appelés «associés»– doivent badger dès leur arrivée. Les salles de
pause, spartiates et éclairées au néon, sont aussi équipées de pointeuses, avec
d’autres panneaux qui signalent que toute entrée ou sortie est dûment
enregistrée. Tout comme les colis sont scannés dans l’entrepôt, les employés
sont surveillés pour la plus grande efficacité possible : ils n’ont droit qu’à
quinze minutes de pause par poste de travail, avec une pause déjeuner de trente
minutes non payées. Les roulements s’effectuent toutes les dix heures.
C’est l’un des centres de traitement les plus récents, où des robots déplacent
les lourdes étagères chargées de produits dans des plateaux. Les robots orange
vif Kiva glissent doucement sur le béton comme des punaises d’eau, suivant
une logique programmée qui les fait tourner en cercles paresseux, puis
verrouillent leur système vers le prochain employé qui attend les plateaux. Ils
avancent avec une tour de marchandises sur leur dos qui peut peser
jusqu’à 1,3 tonne. Cette armée de robots rasant le sol fait montre d’une
efficacité sans effort : ils portent, ils tournent, ils avancent, ils répètent. Ils
émettent un faible bourdonnement, presque entièrement noyé sous le bruit
assourdissant des tapis roulants qui sont comme les artères de l’entrepôt. Vingt
kilomètres de convoyeurs tournent ainsi sans interruption. C’est un
rugissement constant.
Tandis que les robots exécutent leur ballet algorithmique coordonné derrière
des grilles, les employés sont beaucoup moins sereins. L’angoisse d’atteindre le
«taux de préparation de commandes»–le nombre d’articles à sélectionner et
emballer dans le temps imparti – est clairement une épreuve. Beaucoup des
employés que j’ai rencontrés lors de mes visites portent des bandages de
soutien: genouillères, straps au coude, orthèses au poignet. Quand je lui fais
remarquer que beaucoup de gens semblent blessés, l’employé d’Amazon qui me
guide dans l’entrepôt me montre les distributeurs placés à intervalles réguliers
qui sont «approvisionnés en antalgiques sans ordonnance pour tous ceux qui
en ont besoin».
La robotique est devenue un élément-clé de l’arsenal logistique d’Amazon, et
si les machines paraissent bien entretenues, les corps humains, eux, semblent
secondaires. Ils sont là pour accomplir les tâches spécifiques et minutieuses,
dont les robots sont incapables: prendre et confirmer d’un coup d’œil tous les
objets aux formes étranges que les gens veulent se faire livrer, de la coque de
téléphone au détergent pour lave-vaisselle, dans le délai le plus court possible.
Les humains sont le tissu conjonctif nécessaire pour que les articles commandés
soient placés dans des conteneurs et des camions, et livrés aux consommateurs.
Mais ils ne sont pas le composant le plus précieux ou le plus fiable de la
machinerie Amazon. À la fin de la journée, tous les associés doivent passer par
une rangée de détecteurs de métaux avant de sortir. C’est une mesure efficace
contre le vol, m’a-t-on dit.
Au sein des couches d’Internet, l’une des unités de mesure les plus courantes
est le paquet réseau–une unité de données de base à envoyer d’une destination
à une autre. Chez Amazon, l’unité de mesure de base est la boîte en carton
marron, sorte de navire de marchandises à échelle réduite, arborant la flèche
incurvée simulant un sourire humain. Les paquets réseau portent chacun un
horodatage appelé
time to live
(«durée de vie»). Les données doivent atteindre
leur destination avant l’expiration de cette durée. Chez Amazon, le carton a
également une durée de vie déterminée par les exigences du client en matière
d’expédition. Si le carton est en retard, ça affecte la marque Amazon, et en fin
de compte, ses profits. Une attention énorme est donc consacrée à l’algorithme
d’apprentissage automatique qui est adapté aux données concernant la
meilleure taille, le poids et la robustesse des boîtes en carton et des enveloppes
papier. Sans ironie, apparemment, cet algorithme est appelé « la matrice1 ».
Chaque fois qu’un objet cassé est signalé, cela devient un point de données sur
le type d’emballage à utiliser à l’avenir. La prochaine fois que ce produit sera
envoyé, la matrice lui attribuera automatiquement un nouveau type de carton,
sans intervention humaine. Ce qui permet d’éviter la casse, donc de gagner du
temps, donc d’augmenter les profits. Les employés, en revanche, sont
constamment obligés de s’adapter, ce qui rend plus difficile de mettre leurs
connaissances en action ou de s’habituer au travail.
Le contrôle du temps est un thème omniprésent dans l’empire logistique
d’Amazon, et le corps des employés est géré selon les cadences de la logique
computationnelle. Amazon est le deuxième plus gros employeur privé en
Amérique, et de nombreuses entreprises s’efforcent d’imiter son approche.
Beaucoup investissent massivement dans des systèmes automatisés pour tenter
d’obtenir des volumes de travail toujours plus importants d’un nombre réduit
de travailleurs. Les logiques d’efficacité, de surveillance et d’automatisation
convergent toutes, dans le tournant actuel, vers des approches
computationnelles de la gestion de la main-d’œuvre. Les entrepôts de
distribution hybrides d’Amazon, où se côtoient humains et robots, sont des
sites-clés pour comprendre les compromis à l’œuvre dans cet engagement pour
l’efficacité automatisée. Nous pouvons ainsi envisager comment le travail, le
capital et le temps sont imbriqués dans les systèmes d’IA.
Au lieu de me demander si les humains seront remplacés par des robots, je
me focalise dans ce chapitre sur la façon dont l’expérience du travail évolue en
fonction de la surveillance accrue, de l’évaluation algorithmique et de la
modulation du temps. Autrement dit, au lieu de me demander si les robots
remplaceront les humains, je m’intéresse à la façon dont les individus sont de
plus en plus traités comme des robots et à ce que cela signifie pour le rôle de la
main-d’œuvre. De nombreuses formes de travail se dissimulent derrière le
terme « intelligence artificielle », à savoir que des personnes accomplissent
souvent des tâches répétitives pour renforcer l’impression que les machines
peuvent faire le travail. Mais la computation à grande échelle est profondément
ancrée dans l’exploitation du corps humain et fonctionne grâce à elle.
Si nous voulons comprendre l’avenir du travail dans le contexte de
l’intelligence artificielle, nous devons commencer par comprendre l’expérience
passée et présente des travailleurs. Les approches visant à maximiser l’extraction
de la valeur des travailleurs varient du remaniement des techniques classiques
utilisées dans les usines d’Henry Ford à une gamme d’outils assistés par
l’apprentissage automatique et conçus pour augmenter la granularité du suivi,
de l’incitation (
nudge
) et de l’évaluation. Ce chapitre dresse une cartographie
du travail, passé et présent, depuis les maisons d’inspection de Samuel
Bentham jusqu’aux théories de la gestion du temps de Charles Babbage, en
passant par la micro-gestion du corps humain de Frederick Winslow Taylor. En
chemin, nous verrons comment l’IA est construite sur les efforts humains
mêmes que sont, entre autres, le
crowdworking
, la privatisation du temps et la
tâche apparemment sans fin qui consiste à saisir, soulever et ranger des cartons
dans le bon ordre. De la lignée de l’usine mécanisée émerge un modèle qui
valorise une conformité, une standardisation et une interopérabilité toujours
croissantes–pour les produits, les processus et les humains.
PRÉHISTOIRES DE L’IA SUR LE LIEU DE TRAVAIL
L’automatisation du lieu de travail, bien qu’on la présente souvent comme une
histoire du futur, est depuis longtemps déjà une expérience du travail moderne.
La chaîne de montage en usine, qui met l’accent sur les unités de production
cohérentes et standardisées, a ses équivalents dans les industries de service, du
commerce de détail à la restauration. Depuis les années 1980, le travail de
secrétariat a été de plus en plus automatisé, et il fait désormais des émules
parmi les assistants IA (très féminisés) que sont Siri, Cortana et Alexa2. Les
travailleurs du savoir, ces employés en col blanc censés être moins menacés par
les forces de l’automatisation, sont de plus en plus soumis à la surveillance sur
le lieu de travail, à l’automatisation des processus et à l’effondrement de la
distinction entre le temps de travail et le temps de loisir (même si les femmes
ont rarement connu une démarcation aussi nette, comme l’ont montré des
théoriciennes féministes telles que Silvia Federici et Melissa Gregg)3. Le travail,
quel qu’il soit, a considérablement dû s’adapter pour pouvoir être interprété et
compris par des systèmes logiciels4.
Le refrain de l’expansion des systèmes d’IA et de l’automatisation des
processus, c’est que nous vivons à une époque où la collaboration humain-IA
est bénéfique. Mais cette collaboration n’est pas équitablement négociée. Les
conditions sont fondées sur une forte asymétrie de pouvoir–peut-on jamais
choisir de
ne pas
collaborer avec les systèmes algorithmiques ? Quand une
entreprise introduit une nouvelle plateforme d’IA, les employés sont rarement
autorisés à ne pas y adhérer. Il s’agit moins d’une collaboration que d’un
engagement forcé, où l’on attend des travailleurs qu’ils se requalifient, suivent
le rythme et acceptent de façon inconditionnelle chaque nouveau
développement technique.
Plutôt qu’un changement radical par rapport aux formes de travail établies,
l’empiètement de l’IA sur le lieu de travail devrait être envisagé comme un
retour aux pratiques anciennes d’exploitation industrielle de la main-d’œuvre,
bien ancrées dans les années1890et au début du XXe siècle. À cette époque, le
travail en usine était déjà considéré comme une relation avec les machines, et
les tâches ont graduellement été divisées en plus petites actions, nécessitant
alors un minimum de compétences pour un maximum d’efforts. En fait,
l’expansion actuelle de l’automatisation du travail s’inscrit dans la dynamique
historique inhérente au capitalisme industriel. Depuis l’apparition des
premières usines, les ouvriers sont confrontés à des outils, des machines et des
systèmes électroniques toujours plus puissants, qui jouent un rôle dans la
transformation de la gestion de la main-d’œuvre tout en cédant plus de valeur
aux employeurs. De nouveaux refrains sont inventés sur un vieux thème. La
différence cruciale, c’est qu’à présent, les employeurs observent, évaluent et
modulent la part intime du cycle du travail et les données corporelles –
jusqu’au dernier micromouvement–qui leur échappaient jusque-là.
Il y a de nombreuses préhistoires de l’IA sur le lieu de travail, dont l’une est
l’automatisation généralisée des activités de production courantes de la
Révolution industrielle. Au XVIIIe siècle, dans
La Richesse des nations
,
l’économiste politique Adam Smith a été le premier à considérer la division et
la subdivision des tâches manufacturières comme la base d’une meilleure
productivité et d’une mécanisation croissante5. Il a observé qu’en identifiant et
en analysant les diverses étapes de la fabrication d’un article donné, il était
possible de les diviser en étapes toujours plus petites, de sorte qu’un produit
autrefois entièrement fabriqué par des artisans spécialisés pouvait désormais
être fabriqué par une équipe de travailleurs moins qualifiés et équipés d’outils
spécialement conçus pour une tâche particulière. Ainsi, la production d’une
usine pouvait considérablement augmenter sans que le coût salarial augmente
en proportion.
L’essor de la mécanisation a été important, mais c’est seulement combiné à
une abondance croissante d’énergie tirée des combustibles fossiles qu’il a pu
entraîner une hausse massive des capacités de production des sociétés
industrielles. Cette hausse de la production va de pair avec une transformation
majeure du rôle de la main-d’œuvre vis-à-vis des machines sur le lieu de travail.
Initialement conçues comme des dispositifs d’économie de la main-d’œuvre,
les machines devaient aider les ouvriers dans leurs activités quotidiennes, mais
elles sont vite devenues le centre de l’activité productive, régissant la vitesse et
la nature du travail. Les machines à vapeur alimentées au charbon ou au
pétrole entraînaient une action mécanique continue qui influençait le rythme
de travail en usine. Le travail a cessé d’être avant tout le produit du labeur
humain et a pris un caractère de plus en plus mécanique, les ouvriers s’adaptant
aux besoins de la machine, à ses rythmes et ses cadences spécifiques.
S’appuyant sur Adam Smith, Karl Marx notait dès1848que l’automatisation
soustrait la main-d’œuvre de la fabrication de produits finis et transforme le
travailleur en «accessoire de la machine6».
L’intégration du corps du travailleur aux machines était assez poussée pour
que les premiers industriels considèrent leurs employés comme une matière
première à gérer et contrôler comme n’importe quelle autre ressource. Les
propriétaires d’usines, usant à la fois de leur influence locale et de gros bras,
cherchaient à diriger et limiter les déplacements de leurs ouvriers dans les villes
industrielles, les empêchant parfois même d’émigrer vers des régions du monde
moins mécanisées7.
Cela signifiait aussi un contrôle accru du temps. L’historien E. P. Thompson
étudie dans un essai formateur comment la Révolution industrielle a exigé une
plus grande synchronisation du travail et une discipline temporelle plus
stricte8. La transition vers le capitalisme industriel s’accompagne de nouvelles
divisions du travail, de surveillance, d’horloges, d’amendes et de fiches de
présence–des technologies qui ont également influencé la façon dont les gens
vivaient le temps. La culture est aussi un outil puissant. Aux XVIIIe et XIXe
siècles, la propagande sur le dur labeur prenait la forme de livrets et d’articles
sur l’importance de la discipline, de sermons sur les vertus de se lever tôt et de
travailler assidûment le plus longtemps possible9. L’utilisation du temps a
bientôt été considérée en termes moraux et économiques : envisagé comme
une monnaie, le temps pouvait être bien dépensé ou gaspillé. Mais plus la
discipline temporelle était imposée de façon rigide dans les ateliers et les usines,
plus les ouvriers se sont mis à résister – en faisant campagne sur le temps
même. Au début du XIXe siècle, les mouvements ouvriers ont fortement plaidé
pour la réduction de la journée de travail, qui pouvait durer seize heures. Le
temps lui-même devint un enjeu décisif du combat.
Conserver une main-d’œuvre efficace et disciplinée dans les premières usines
nécessitait de nouveaux systèmes de surveillance et de contrôle. Une invention
des débuts de la production industrielle fut la maison d’inspection, un
agencement circulaire qui plaçait tous les ouvriers d’une usine sous le regard du
contremaître, dont le bureau était installé sur une plateforme surélevée au
centre du bâtiment. Élaboré en Russie dans les années 1780 par l’ingénieur
naval anglais Samuel Bentham, alors qu’il était au service du prince Potemkine,
cet agencement permettait à un surveillant expert de garder un œil sur ses
subordonnés sans formation – pour la plupart, des paysans russes prêtés à
Bentham par Potemkine–pour détecter les signes de mauvaises habitudes de
travail. Ce qui permettait aussi à Bentham lui-même de garder un œil sur les
surveillants pour détecter les signes d’indiscipline. Les surveillants, en général
des maîtres constructeurs de navires recrutés en Angleterre, causaient à
Bentham de sérieux ennuis du fait de leur penchant pour la boisson et de leur
tendance à se quereller. «Chaque matin, je suis accaparé par les disputes entre
mes contremaîtres», se plaignait Bentham10. De plus en plus contrarié, il se
lança dans une nouvelle conception qui maximiserait sa capacité à les surveiller,
ainsi que le système dans son ensemble. Grâce à la visite de son frère aîné, le
philosophe utilitariste Jeremy Bentham, la maison d’inspection de Samuel
devint la source d’inspiration du célèbre panoptique, une structure de prison
modèle avec une tour de garde centrale, d’où les gardiens pouvaient surveiller
les prisonniers dans leurs cellules11.
Depuis la parution de
Surveiller et punir
de Michel Foucault, on a pris
l’habitude de considérer la prison comme le point d’origine de la société de
surveillance actuelle, Jeremy Bentham, l’aîné, en étant le père idéologique. En
fait, la prison panoptique doit son origine aux travaux de Samuel Bentham, le
cadet, dans le contexte des toutes premières manufactures12. Le panoptique est
né en tant que mécanisme destiné au lieu de travail, avant d’être conceptualisé
pour les prisons.
Si les travaux de Samuel Bentham sur la maison d’inspection ont en grande
partie disparu de notre mémoire collective, l’histoire qui la sous-tend est restée
dans le langage courant. La maison d’inspection s’inscrivait dans une stratégie
coordonnée par l’employeur de Bentham, le prince Potemkine, qui souhaitait
s’attirer les faveurs de la cour de Catherine II en prouvant qu’il était possible de
moderniser la Russie rurale et de transformer la paysannerie en main-d’œuvre
industrielle. La maison d’inspection a été construite pour servir de spectacle
aux dignitaires et aux financiers de passage, un peu comme les « villages
Potemkine », qui n’étaient guère plus que des façades décorées destinées à
détourner l’attention des observateurs des paysages misérables des villages
ruraux.
Et ce n’est qu’une seule des généalogies. Bien d’autres histoires du travail ont
façonné ces pratiques d’observation et de contrôle. Les plantations coloniales
d’Amérique utilisaient le travail forcé pour des cultures de rente comme le
sucre, et les esclavagistes dépendaient d’un système de surveillance constante.
Dans
The Right to Look
, Nicholas Mirzoeff explique le rôle central du
contremaître dans l’économie des plantations, en veillant au flux de
production, surveillance qui signifiait organiser le travail des esclaves en un
système d’une violence extrême13. Comme le décrit un planteur en 1814, le
rôle du contremaître était de «ne jamais laisser l’esclave un seul instant inactif;
il surveille la fabrication du sucre sans jamais quitter la raffinerie une seule
seconde14 ». Ce régime de surveillance misait aussi sur la corruption de
quelques esclaves, moyennant nourriture et vêtements, pour les inclure dans un
réseau élargi de supervision, et maintenir la discipline et la cadence du travail
quand le contremaître était occupé15.
Aujourd’hui, la surveillance sur le lieu de travail est avant tout dévolue aux
technologies spécialisées. La classe directoriale emploie un large éventail de
technologies pour surveiller les employés, notamment les applis qui suivent
leurs déplacements, l’analyse de leurs publications sur les réseaux sociaux, la
comparaison des types de réponse par e-mails et de planification des réunions,
l’incitation à travailler plus vite et plus efficacement. Les données relatives aux
employés servent à faire des prédictions sur ceux qui ont le plus de chances de
réussir (selon des paramètres restreints et quantifiables), ceux qui risquent de
s’écarter des objectifs de l’entreprise, ou ceux susceptibles de syndiquer les
salariés. Certains recourent aux techniques de l’apprentissage automatique,
d’autres ont des systèmes algorithmiques plus rudimentaires. À mesure que l’IA
s’impose sur le lieu de travail, bon nombre de systèmes de surveillance et de
suivi les plus basiques sont dotés de nouvelles capacités prédictives pour
devenir des mécanismes toujours plus invasifs de gestion des travailleurs, de
contrôle des actifs et d’extraction de valeur.
L’IA POTEMKINE ET LES TURCS MÉCANIQUES
L’un des faits les moins reconnus à propos de l’intelligence artificielle, c’est le
nombre de travailleurs sous-payés requis pour aider à construire, entretenir et
tester les systèmes d’IA. Ce travail invisible prend de nombreuses formes –
chaîne d’approvisionnement,
crowdworking
à la demande, emplois
traditionnels dans l’industrie de services. Les formes d’exploitation du travail
existent à tous les stades de la filière de l’IA, depuis les mines, où les ressources
sont extraites et transportées afin de créer l’infrastructure centrale des systèmes
d’IA, jusqu’à l’aspect logiciel, où la main-d’œuvre dispersée est payée quelques
centimes par micro-tâche. Mary Gray et Sid Suri appellent ce type de travail
caché le « travail fantôme »16. Lilly Irani, elle, parle d’« automatisation
alimentée par l’humain17». Ces chercheurs attirent l’attention sur l’expérience
des
crowdworkers
ou microtravailleurs qui effectuent les tâches numériques
répétitives sur lesquelles reposent les systèmes d’IA, comme l’étiquetage de
milliers d’heures de données d’entraînement et l’examen de contenus suspects
ou dangereux. Des travailleurs accomplissent ces tâches qui sous-tendent toute
la soi-disant magie de l’IA –mais on leur attribue rarement le mérite de faire
fonctionner les systèmes18.
Bien que cette main-d’œuvre soit indispensable pour alimenter les systèmes
d’IA, elle est généralement très mal rémunérée. Une étude de l’Organisation
internationale du travail a permis d’interroger 3 500
crowdworkers
dans
75 pays, qui proposaient leurs services sur des plateformes très appréciées
comme Amazon Mechanical Turk, Figure Eight, Microworkers et Clickworker.
Le rapport a révélé qu’un grand nombre de personnes gagnaient moins que le
salaire minimum local, même si la majorité des sondés avaient un haut niveau
d’études, souvent spécialisés dans les sciences et la haute technologie19. De
même, ceux qui sont chargés de la modération des contenus – évaluer les
vidéos violentes, les discours haineux et les formes de cruauté en ligne à
supprimer– sont également mal payés. Comme l’ont montré les spécialistes
des médias Sarah Roberts et Tarleton Gillespie, ce type de travail peut causer
des formes durables de traumatisme psychologique20.
Mais sans ce travail-là, les systèmes d’IA ne fonctionneraient pas. La
communauté des chercheurs en IA dépend d’une main-d’œuvre bon marché,
en
crowdsourcing
, pour de nombreuses tâches que les machines ne peuvent
accomplir. Entre2008et2016, l’occurrence du terme
crowdsourcing
est passée
de moins d’un millier d’articles scientifiques à plus de 20 000 – ce qui est
logique, puisque Mechanical Turk a été lancé en2005. Mais durant la même
période, il y a eu bien trop peu de débats sur les questions éthiques que pose le
fait de dépendre d’une main-d’œuvre généralement payée en dessous du salaire
minimum21.
Bien sûr, il y a de fortes incitations à fermer les yeux sur ce travail sous-payé
à travers le monde. Tout ce travail–de l’étiquetage d’images pour les systèmes
de vision par ordinateur à la vérification qu’un algorithme produit les bons
résultats – permet d’améliorer les systèmes d’IA bien plus vite et à moindre
coût, surtout si on le compare à la rémunération d’étudiants pour ces mêmes
tâches (comme c’était la tradition auparavant). Le problème a donc été
généralement ignoré, et comme le remarquait une équipe de recherche sur le
crowdworking
, les clients qui ont recours à ces plateformes «s’attendent à ce
que le travail soit exécuté à bon marché, “sans frictions”, sans surveillance,
comme si la plateforme n’était pas une interface avec des travailleurs humains
mais un immense ordinateur sans frais de subsistance22». Autrement dit, les
clients traitent les employés juste à peine mieux que des machines, car
reconnaître leur travail et le rémunérer équitablement rendrait l’IA plus
coûteuse et moins «efficiente».
Parfois, on demande directement aux travailleurs de se faire passer pour un
système d’IA. La start-up d’assistants numériques x.ai a prétendu que son agent
Amy pouvait « planifier des réunions comme par magie » et gérer de
nombreuses tâches quotidiennes ordinaires. Mais une enquête détaillée de
Bloomberg menée par la journaliste Ellen Huet a révélé qu’il ne s’agissait pas
du tout d’intelligence artificielle. « Amy » était soigneusement contrôlée et
remaniée par une équipe de contractuels effectuant de longues journées de
travail. De même, l’assistant personnel de Facebook, M, dépendait de
l’intervention régulière d’un groupe de travailleurs payés pour examiner et
modifier chaque message23.
Simuler l’IA est une tâche épuisante. Les employés de x.ai faisaient parfois
des journées de quatorze heures à annoter des e-mails pour maintenir l’illusion
que le service était automatisé et fonctionnait24heures sur24, 7jours sur7.
Ils n’avaient pas le droit de partir le soir tant que tous les e-mails en attente
n’étaient pas traités. «En sortant, je me sentais totalement hébété, dépourvu de
toute émotion», a confié un employé à Huet24.
On peut y voir une sorte d’IA Potemkine–guère plus qu’une façade, conçue
pour montrer aux investisseurs et aux médias crédules à quoi ressemblerait un
système automatisé, tout en dépendant en réalité du travail humain caché
derrière25. Selon une lecture charitable, cette façade illustre ce dont le système
serait capable une fois totalement achevé, c’est un «produit minimum viable»
conçu pour démontrer un concept. Selon une lecture moins charitable, les
systèmes d’IA Potemkine sont une forme de supercherie perpétrée par des
fournisseurs en haute technologie désireux de s’accaparer une part de cet espace
lucratif. Mais tant qu’on ne créera pas une IA à grande échelle sans se servir du
travail caché et intensif des humains, cette logique restera au cœur de son
fonctionnement.
Astra Taylor appelle cette façon de survendre des systèmes high-tech qui ne
sont pas réellement automatisés «fauxtomation»26. Les systèmes automatisés
semblent faire le travail auparavant effectué par des humains, mais en fait ils ne
font que coordonner le travail humain de l’arrière-plan. Taylor cite l’exemple
des bornes libre-service dans les fastfoods et des caisses automatiques dans les
supermarchés comme autant d’endroits où le travail d’un employé semble avoir
été remplacé par un système automatisé, mais où, en réalité, le travail de saisie
des données a simplement été transféré d’un employé rémunéré au client.
Parallèlement, de nombreux systèmes en ligne qui fournissent des décisions
apparemment automatisées, comme la suppression des doublons ou des
contenus offensants, sont en fait alimentés par des humains qui travaillent
depuis chez eux sur une file interminable de tâches rébarbatives27. Comme les
villages et les ateliers modèles de Potemkine, beaucoup de systèmes automatisés
reposent sur une combinaison de travailleurs à la pièce sous-payés et de
consommateurs assumant des tâches non rémunérées pour faire fonctionner les
systèmes. Les entreprises, elles, cherchent à convaincre les investisseurs et le
grand public que des machines intelligentes font le travail.
À quoi sert cet artifice ? Le coût réel du travail de l’IA est constamment
minimisé et passé sous silence, mais les forces à l’origine de cette performance
dépassent la simple astuce marketing. Cela s’inscrit dans une tradition
d’exploitation et de déqualification, où les gens doivent effectuer des tâches
plus ennuyeuses et plus répétitives, pour suppléer aux systèmes automatisés,
avec un résultat qui peut être moins efficace ou moins fiable qu’auparavant.
Mais cette approche peut être élargie–entraînant une réduction des coûts et
une hausse des profits, tout en masquant à quel point elle dépend de
travailleurs invisibles payés une misère, et de consommateurs sur lesquels sont
déchargées les tâches de maintenance et de vérification des erreurs.
La fauxtomation ne remplace pas directement la main-d’œuvre humaine;
elle la délocalise et la disperse dans l’espace et le temps. C’est ainsi qu’elle
renforce la déconnexion entre le travail et la valeur, et remplit une fonction
idéologique. Les travailleurs, aliénés des résultats de leur travail et déconnectés
des autres effectuant les mêmes tâches, sont susceptibles d’être plus facilement
exploités par leurs employeurs. On le voit bien au taux de rémunération
dérisoire des
crowdworkers
à travers le monde28. Tout comme d’autres ouvriers
de la fauxtomation, ils sont confrontés au fait très réel que leur travail est
interchangeable avec celui de milliers d’autres travailleurs qui sont en
concurrence sur les plateformes. Un
crowdworker
peut à tout moment être
remplacé par un autre, ou éventuellement par un système plus automatisé.
En1770, l’inventeur hongrois Wolfgang von Kempelen fabriqua un joueur
d’échecs mécanique perfectionné. Il créa un meuble en bois contenant des
rouages derrière lequel était assis un automate grandeur nature, capable de
jouer aux échecs avec des humains et de les battre. Cette machine
extraordinaire fut d’abord présentée à la cour de l’impératrice Marie-Thérèse
d’Autriche, puis aux dignitaires et ambassadeurs en visite, tous absolument
convaincus qu’il s’agissait d’un automate intelligent. Il portait un turban, un
pantalon bouffant et un caftan bordé de fourrure, pour donner l’impression
d’un «sorcier oriental29». Son aspect racialisé renvoyait à une altérité exotique,
à une époque où l’élite viennoise buvait du café turc et habillait ses
domestiques de livrées turques30. On en est venu à l’appeler le Turc
mécanique. Mais l’automate joueur d’échecs n’était qu’une illusion élaborée:
un maître du jeu humain, caché dans le meuble, faisait fonctionner la machine
de l’intérieur, totalement invisible.
Deux siècles et demi plus tard, le canular est toujours d’actualité. Amazon a
choisi de baptiser sa plateforme de
crowdsourcing
fondée sur le micro-paiement
Amazon Mechanical Turk, malgré les relents de racisme et de supercherie. Sur
la plateforme d’Amazon, les véritables travailleurs restent dissimulés, au service
de l’illusion que les systèmes d’IA sont autonomes et intelligents par magie31.
Si Amazon a eu l’idée de créer son Mechanical Turk, c’est suite aux échecs de
ses systèmes d’intelligence artificielle qui ne parvenaient pas à détecter
correctement les pages en doublon sur son site de vente au détail. Après une
série de tentatives vaines et coûteuses pour résoudre le problème, les ingénieurs
du projet ont recruté des humains pour combler les lacunes de leurs systèmes
«rationalisés32». À présent, Mechanical Turk connecte les entreprises avec une
masse invisible et anonyme de travailleurs qui rivalisent entre eux pour avoir la
possibilité d’effectuer une série de micro-tâches. Mechanical Turk est un
gigantesque atelier disséminé, où les humains émulent et améliorent les
systèmes d’IA en vérifiant et corrigeant les processus algorithmiques. C’est ce
que Jeff Bezos, le PDG d’Amazon, appelle effrontément l’« intelligence
artificielle
artificielle
33».
Ces exemples d’IA Potemkine sont partout. Certains sont bien visibles :
quand nous apercevons une de ces voitures autonomes dans la rue, nous
voyons aussi un opérateur humain sur le siège conducteur prêt à prendre le
contrôle du véhicule au premier signe de difficultés. D’autres sont moins
flagrants, comme lorsque nous interagissons avec une interface de chat en
ligne. Nous n’avons affaire qu’aux façades qui masquent leur fonctionnement
interne, conçues pour cacher les différentes combinaisons de travail des
machines et des humains dans chaque interaction. On ne nous dit jamais si
nous recevons la réponse du système lui-même ou d’un opérateur humain payé
pour répondre en son nom.
Nous savons de moins en moins si nous avons affaire à un système d’IA ou
pas, mais le sentiment est réciproque. Par un paradoxe dont beaucoup d’entre
nous ont pu faire l’expérience, et ostensiblement pour prouver notre véritable
identité humaine quand nous consultons un site Internet, nous devons
convaincre le reCAPTCHA de Google que nous ne sommes pas des robots. Donc
nous cliquons, obéissants, sur des cases où figurent des feux de signalisation,
des voitures ou des maisons. Nous entraînons gratuitement les algorithmes de
reconnaissance d’images de Google. Là encore, le mythe de l’IA abordable et
efficace dépend de couches d’exploitation, dont l’extraction d’un travail massif
non rémunéré pour affiner les systèmes d’IA des plus riches entreprises de la
planète.
Les formes actuelles d’intelligence artificielle ne sont ni artificielles ni
intelligentes. Nous devrions plutôt parler du dur labeur physique des mineurs,
des tâches répétitives des ouvriers sur les chaînes de montage, du travail
cybernétique sous-traité des programmeurs dans les ateliers de misère, du
crowdsourcing
mal payé de Mechanical Turk, et du travail immatériel non
rémunéré des utilisateurs quotidiens. Ce sont les lieux où on voit que la
computation planétaire dépend de l’exploitation de la main-d’œuvre humaine,
tout le long de la chaîne logistique d’extraction.
VISIONS DU DÉSASSEMBLAGE ET DE L’AUTOMATISATION DU LIEU DE TRAVAIL:
BABBAGE, FORD ET TAYLOR
Charles Babbage est connu comme l’inventeur du premier ordinateur
mécanique. Dans les années 1820, il a développé l’idée de la
machine à
différences
, une machine à calculer mécanique conçue pour générer des tables
mathématiques et astronomiques en une fraction du temps requis pour les
calculer à la main. Dans les années1830, il mit au point un projet conceptuel
viable pour la
machine analytique
, un ordinateur mécanique programmable et
multi-usages avec un système de cartes perforées pour lui fournir les
instructions34.
Babbage s’intéressait aussi beaucoup à la théorie sociale libérale et écrivit
énormément sur la nature du travail – combinaison de son intérêt pour la
puissance de calcul et l’automatisation. Suivant Adam Smith, il considérait la
division du travail comme un moyen de rationaliser la fabrication en usine et
de la rendre plus efficace. Il est allé plus loin, cependant, en affirmant qu’une
entreprise industrielle pouvait être par analogie comprise comme un système
computationnel. Tout comme un ordinateur, elle incluait de nombreuses
unités spécialisées exécutant des tâches particulières, toutes coordonnées pour
produire un résultat donné, mais le travail contenu dans le produit fini étant
rendu à peu près invisible par le processus dans son ensemble.
Dans ses textes plus spéculatifs, Babbage imaginait des flux de main-d’œuvre
parfaits à travers le système, visualisés sous la forme de tables de données et
contrôlés par des podomètres et des horloges à répétition35. En combinant
calcul, surveillance et discipline du travail, il était possible selon lui d’imposer
des niveaux toujours plus élevés d’efficacité et de contrôle de la qualité36.
C’était une vision étrangement prophétique. Ce n’est que tout récemment,
avec l’adoption de l’intelligence artificielle sur le lieu de travail, que le double
objectif singulier de Babbage, calcul et automatisation, est devenu possible à
grande échelle.
La pensée économique de Babbage découlait de celle d’Adam Smith mais
divergeait sur un point important. Pour Smith, la valeur économique d’un
objet se comprend en fonction du coût de la main-d’œuvre nécessaire pour le
produire. Selon l’interprétation de Babbage, en revanche, la valeur en usine
résulte de l’investissement dans la conception du processus de fabrication
plutôt que de la force de travail de ses employés. La véritable innovation, c’était
le processus logistique, tandis que les ouvriers se contentaient d’exécuter des
tâches prédéfinies et de faire fonctionner les machines selon les instructions.
Pour Babbage, le rôle de la main-d’œuvre dans la chaîne de production de
valeur était en grande partie négatif: les ouvriers pouvaient s’avérer incapables
d’effectuer leurs tâches dans les délais prescrits par les machines de précision,
que ce soit à cause d’un manque de discipline, d’une blessure, de l’absentéisme
ou d’actes de résistance. Comme le pointe l’historien Simon Schaffer, «sous le
regard de Babbage, les manufactures ressemblaient à des appareils parfaits et les
machines calculatrices à des ordinateurs parfaits. La main-d’œuvre pouvait être
une source de problèmes: elle pouvait introduire des erreurs dans les tables et
faire échouer les usines – mais elle ne pouvait être considérée comme une
source de valeur37». L’usine est conçue comme machine à calculer rationnelle
qui n’a qu’une faiblesse : sa main-d’œuvre humaine fragile et peu digne de
confiance.
Bien sûr, la théorie de Babbage était fortement influencée par une sorte de
libéralisme financier, qui le poussait à voir la main-d’œuvre comme un
problème à endiguer grâce à l’automatisation. On ne se souciait guère du coût
humain de cette automatisation, pas plus que de la façon dont elle pouvait être
utilisée pour améliorer la vie professionnelle des employés d’usine. Au
contraire, la machinerie idéalisée de Babbage visait avant tout à maximiser les
rendements financiers pour les propriétaires d’usine et leurs investisseurs. Dans
la même veine, les partisans actuels de l’IA sur le lieu de travail présentent une
vision de la production qui privilégie l’efficacité, la réduction des coûts et la
hausse des profits, au lieu par exemple d’aider les employés en remplaçant le
travail répétitif et peu valorisant. Comme l’affirme Astra Taylor, « le type
d’efficacité à laquelle aspirent les évangélistes de la technologie privilégie
l’uniformisation, la simplification et la vitesse, et non la diversité, la complexité
et l’interdépendance38 ». Cela ne devrait pas nous étonner : c’est la
conséquence nécessaire du modèle économique standard des entreprises à but
lucratif, dont la plus haute responsabilité reste la valeur actionnariale. Nous
vivons le résultat d’un système où les entreprises doivent extraire le plus de
valeur possible. Parallèlement, 94 % de tous les nouveaux emplois créés aux
États-Unis entre2005et2015 relevaient du «travail alternatif», c’est-à-dire
non salarié à plein temps39. Alors que les entreprises engrangent les bénéfices
d’une automatisation croissante, les gens, en moyenne, travaillent plus d’heures
et occupent plus d’emplois, pour un salaire moindre dans des conditions plus
précaires.
LE MARCHÉ DE LA VIANDE
Parmi les premiers secteurs à avoir mis en place le type de chaîne de production
mécanisée imaginée par Babbage, on trouve l’industrie de transformation de la
viande à Chicago, dans les années 1870. Des trains acheminaient le bétail
jusqu’aux portes des entrepôts; les animaux étaient conduits dans les abattoirs
adjacents; et les carcasses étaient transportées vers différents postes de découpe
et de traitement grâce à un système mécanisé de rails aériens, formant ce qui
serait appelé la
chaîne de désassemblage
. Les produits finis pouvaient être
expédiés vers des marchés lointains dans des wagons frigorifiques conçus à cet
effet40. Harry Braverman, historien du travail, note que les abattoirs de
Chicago réalisaient si parfaitement la vision de l’automatisation et de la
division du travail de Babbage que les tâches techniques humaines nécessaires à
n’importe quel point de la chaîne de désassemblage pouvaient être remplies par
n’importe qui41. Les ouvriers peu qualifiés pouvaient être payés le strict
minimum et remplacés à la première difficulté, devenant ainsi des
marchandises au même titre que la viande conditionnée qu’ils produisaient.
Quand Upton Sinclair a écrit
La Jungle
, son terrible roman sur la pauvreté
de la classe ouvrière, il a choisi de le situer dans les usines de transformation de
la viande à Chicago. Bien que son ambition ait été de mettre en lumière les
difficultés des travailleurs immigrés pour défendre une vision politique
socialiste, le roman a eu un effet totalement différent. Les descriptions de
viande avariée et putréfiée ont suscité un tollé général sur la sécurité
alimentaire, qui a conduit à l’adoption du Meat Inspection Act en1906. Mais
on a éclipsé la condition des ouvriers. De puissantes institutions, de l’industrie
du conditionnement de la viande au Congrès, étaient prêtes à intervenir pour
améliorer les méthodes de production, mais il était hors de question de
s’attaquer à la dynamique fondamentale d’exploitation de la main-d’œuvre qui
soutenait tout le système. La persistance de ce modèle met en évidence la façon
dont le pouvoir répond à la critique: que le produit soit des carcasses de vache
ou des logiciels de reconnaissance faciale, la réponse consiste à accepter la
règlementation des marges, mais à laisser intacte la logique de production sous-
jacente.
Deux autres figures occupent une place importante dans l’histoire de
l’automatisation du lieu de travail: Henry Ford, dont la chaîne de montage
mobile au début du XXe siècle s’inspirait des chaînes de désassemblage de
Chicago; et Frederick Winslow Taylor, fondateur du management scientifique.
Taylor a forgé sa carrière dans les dernières années du XIXe siècle en
développant une approche systématique de la gestion du lieu de travail,
focalisée sur les mouvements corporels des employés. Alors que la division du
travail selon Smith et Babbage visait à permettre de répartir les tâches entre les
humains et les outils, Taylor a concentré ses efforts pour inclure des
subdivisions microscopiques dans les actions de chaque travailleur.
En tant que dernière technologie de pointe pour mesurer le temps avec
précision, le chronomètre allait devenir un instrument-clé dans la surveillance
du lieu de travail pour les contremaîtres d’atelier comme pour les ingénieurs de
production. Taylor se servait de chronomètres pour réaliser des études sur les
ouvriers, qui comprenaient des analyses détaillées du temps nécessaire à
l’exécution des mouvements physiques distincts impliqués dans une tâche
donnée. Dans
La Direction scientifique des entreprises
, il a établi un système
pour quantifier les mouvements corporels des travailleurs, afin d’obtenir une
disposition des outils et des processus de travail d’une efficacité optimale.
L’objectif était une production maximale pour un coût minimal42. C’était une
illustration de la formule de Marx sur la domination du temps de l’horloge:
«Le temps est tout, l’homme n’est plus rien; il est tout au plus la carcasse du
temps43.»
Foxconn, la plus grosse entreprise d’électronique au monde, qui fabrique les
iPhones et les iPads d’Apple, est un parfait exemple de la façon dont les
employés sont réduits à des corps d’animaux exécutant des tâches étroitement
contrôlées. Foxconn s’est rendu célèbre pour ses protocoles de gestion
inflexibles et militaristes après une vague de suicides en201044. Deux ans plus
tard, Terry Gou, le président du groupe, décrivait ses plus d’un million
d’employés en ces termes: «Les êtres humains sont aussi des animaux, gérer
un million d’animaux me donne la migraine45.»
Contrôler le temps devient une autre manière de gérer les corps. Dans le
secteur des services et dans l’industrie du fast-food, le temps est mesuré à la
seconde près. Chez McDonald’s, les employés à la chaîne qui préparent des
burgers sont évalués en fonction d’objectifs tels que prendre connaissance des
commandes sur écran en cinq secondes, assembler un sandwich en vingt-deux
secondes, et emballer les repas en quatorze secondes46. Le strict respect du
temps supprime du système toute marge d’erreur. Le moindre retard (un client
qui prend trop de temps pour passer sa commande, une machine à café
défaillante, un employé absent pour cause de maladie) peut entraîner une
cascade d’autres retards, de signaux sonores et de notifications de la direction.
Avant même que les employés de McDonald’s ne rejoignent la chaîne de
fabrication, leur temps est géré et contrôlé. Un système d’algorithmes
d’ordonnancement intégrant l’analyse des données historiques et des modèles
de prédiction de la demande détermine la répartition des postes des employés:
d’où des horaires qui peuvent varier d’une semaine à l’autre, voire d’un jour à
l’autre. Un recours collectif intenté en2014 contre les restaurants McDonald’s
en Californie a constaté que les franchisés sont régis par un logiciel qui fournit
des prédictions algorithmiques concernant le ratio ventes-employés et indique
aux gérants de réduire rapidement le personnel quand la demande baisse47. Les
employés ont signalé qu’on leur demandait de ne pas pointer tout de suite et
de rester dans les environs, prêts à reprendre le travail si le restaurant se
remplissait à nouveau. Comme ils ne sont payés que pour le temps pointé, ils
ont poursuivi l’entreprise et ses franchisés pour vol salarial d’envergure48.
Le temps de travail déterminé par les algorithmes varie de services
extrêmement courts (une heure ou moins) à des services très longs en période
d’affluence, selon ce qui est le plus rentable. L’algorithme ne tient pas compte
du coût humain de l’attente, du fait de se rendre au travail pour être renvoyé
chez soi, ou de l’impossibilité de prévoir son emploi du temps et planifier sa
vie. Ce temps volé contribue à l’efficacité de l’entreprise, mais il a un coût
direct sur les employés.
GÉRER LE TEMPS, PRIVATISER LE TEMPS
Ray Kroc, l’entrepreneur qui a fait de McDonald’s une franchise planétaire,
s’est inscrit dans la lignée des Smith, Babbage, Taylor et Ford lorsqu’il a conçu
la chaîne de fabrication des burgers et obligé ses employés à la suivre sans
réfléchir. Surveillance, standardisation et réduction du savoir-faire individuel
étaient au cœur de la méthode de Kroc. Comme l’affirment les chercheurs
Clare Mayhew et Michael Quinlan à propos du processus standardisé de
McDonald’s, «le système de gestion fordiste présentait le travail et les tâches de
production dans les moindres détails. Il exigeait une participation constante et
impliquait un contrôle assidu du processus de travail de chaque individu. Il y a
eu une suppression presque totale de l’activité conceptuelle dans l’exécution
des tâches49».
Réduire le temps d’exécution à chaque poste, ou temps de cycle, est devenu
l’objet de toute l’attention dans l’usine fordiste, les ingénieurs subdivisant les
tâches en fragments toujours plus petits pour les optimiser et les automatiser,
les contremaîtres réprimandant les ouvriers dès qu’ils prenaient du retard. On
voyait souvent les contremaîtres, et Henry Ford lui-même, arpenter l’usine,
chronomètre en main, pour enregistrer les temps de cycle et consigner tout
décalage dans la productivité d’un poste50.
Désormais, les employeurs peuvent surveiller passivement leur main-
d’œuvre sans se déplacer dans l’usine. Les employés pointent à leur arrivée en
présentant leur badge ou grâce aux lecteurs d’empreintes digitales reliés aux
pointeuses. Ils travaillent devant des dispositifs de chronométrage qui
indiquent les minutes ou les secondes restantes pour exécuter la tâche en cours
avant qu’un responsable soit averti. Ils sont assis à des postes de travail équipés
de capteurs qui enregistrent constamment leur température corporelle, la
distance physique avec leurs collègues, le temps qu’ils passent à surfer sur
Internet au lieu d’effectuer les tâches imparties… WeWork, le géant du
coworking qui s’est effondré au cours de l’année 2019, avait discrètement
équipé ses espaces de travail de dispositifs de surveillance pour créer de
nouvelles formes de monétisation des données. Son rachat de la start-up
d’analyse des espaces de travail Euclid a suscité des inquiétudes, laissant
entendre qu’elle prévoyait de suivre ses membres payants dans leurs
déplacements à travers ses implantations51. Domino’s Pizza a équipé ses
cuisines de systèmes de vision artificielle qui inspectent les pizzas achevées pour
vérifier que le personnel a respecté les normes prescrites52. Ces appareils de
surveillance servent à produire des données d’entrée pour des algorithmes de
planification qui modulent encore plus le temps de travail, ou pour glaner des
signes comportementaux susceptibles d’expliquer le degré de performance, ou
d’être simplement revendues à des courtiers en données.
Dans son article « Comment la Silicon Valley définit le temps », Judy
Wajcman, professeure de sociologie, affirme qu’il y a un lien entre les objectifs
des outils de gestion et suivi du temps et la composition démographique de la
Silicon Valley53. La main-d’œuvre d’élite de la Silicon Valley «est toujours plus
jeune, plus masculine et plus déterminée à travailler jour et nuit », tout en
créant des outils de productivité qui reposent sur la règle du
«winner takes
all»
, une course impitoyable à l’efficacité maximale54. Cela signifie que de
jeunes ingénieurs, majoritairement des hommes souvent libres de toutes
responsabilités familiales ou communautaires, construisent les outils qui
permettront de surveiller des lieux de travail très différents, en quantifiant la
productivité et la désirabilité des employés. Le
workaholisme
et le travail h-
24 souvent glorifiés par les start-ups tech deviennent le critère de référence
implicite pour évaluer les autres travailleurs, qui engendre une vision de
l’employé standard masculinisée, étriquée et dépendante de services non
rémunérés ou sous-payés d’autres personnes.
LE TEMPS PRIVÉ
La coordination du temps est devenue toujours plus granulaire dans les formes
technologiques de gestion du lieu de travail. Par exemple, le Manufacturing
Automation Protocol (MAP) de General Motors a été l’une des premières
tentatives pour offrir des solutions standard aux problèmes courants de
coordination des robots, notamment la synchronisation d’horloges55. Avec le
temps d’autres protocoles de synchronisation plus génériques, accessibles via
Ethernet et les réseaux TCP/IP sont apparus, dont le Network Time Protocol
(NTP) et, plus tard, le Precision Time Protocol (PTP), chacun ayant engendré
toutes sortes d’implémentations concurrentes sur divers systèmes
d’exploitation. NTP et PTP fonctionnent tous deux en établissant une
hiérarchie d’horloges dans un réseau, l’horloge « maître » gouvernant les
horloges «esclaves».
La métaphore maître-esclave est omniprésente dans l’ingénierie et
l’informatique. L’un des premiers usages de cette métaphore raciste remonte
à1904, et concerne les horloges astronomiques d’un observatoire du Cap56.
Mais ce n’est que dans les années1960que cette terminologie s’est répandue,
notamment après son utilisation en informatique qui a débuté avec le DTSS, le
système d’exploitation Time-Sharing du Dartmouth College. Les
mathématiciens John Kemeny et Thomas Kurtz ont développé un programme
de partage du temps pour l’accès aux ressources informatiques, à partir de
l’idée d’un des pionniers de l’IA, John McCarthy. En 1968, ils écrivaient dans
Science
: «D’abord, toute la computation pour les utilisateurs se déroule dans
l’ordinateur esclave, tandis que le programme exécutif (le “cerveau” du
système) réside dans l’ordinateur maître. Il est donc impossible qu’un
programme utilisateur erroné ou fugitif (
runaway
) dans l’ordinateur esclave
endommage le programme exécutif et arrête tout le système57. » Le sous-
entendu problématique, selon lequel le contrôle est équivalent à l’intelligence,
allait continuer à façonner le domaine de l’IA pendant des décennies. Et
comme l’a fait remarquer Ron Eglash, cette formulation rappelle furieusement
le discours sur les esclaves en fuite avant la guerre de Sécession58.
La terminologie maître-esclave, jugée offensante par beaucoup, a été
supprimée de Python, le langage de programmation courant en apprentissage
automatique, et de Github, plateforme de développement de logiciels. Mais
elle persiste dans l’une des infrastructures computationnelles les plus vastes au
monde. Avec Spanner, Google a créé une gigantesque base de données, répartie
à l’échelle mondiale et répliquée de manière synchrone. C’est l’infrastructure
qui prend en charge Gmail, Google Search, la publicité et tous les services de
Google.
À cette échelle, Spanner synchronise l’heure sur des millions de serveurs à
travers le globe dans des centaines de centres de données. Chaque centre de
données possède une unité « maître du temps » qui reçoit toujours l’heure
GPS. Mais comme les serveurs interrogeaient des horloges maîtres variées, il y
avait une légère latence du réseau et des dérives d’horloge. Comment résoudre
cette incertitude? En créant un nouveau protocole de distribution du temps–
une forme brevetée de temps–pour que tous les serveurs soient synchronisés,
quel que soit l’endroit où ils se trouvent dans le monde. Google a sans ironie
baptisé ce nouveau protocole TrueTime.
TrueTime est un protocole d’horloge distribuée qui fonctionne en
établissant des relations de confiance entre les horloges locales des centres de
données pour qu’elles puissent décider avec quels homologues se synchroniser.
Bénéficiant d’un nombre suffisamment important d’horloges fiables, dont les
récepteurs GPS et les horloges atomiques qui fournissent un degré de précision
très élevé, et d’un niveau suffisamment bas de latence du réseau, TrueTime
permet à un ensemble distribué de serveurs de garantir que des événements se
produisent selon une séquence déterminée à travers un vaste réseau59.
Le plus remarquable dans ce système de temps privatisé Google, c’est la
façon dont TrueTime gère l’incertitude en cas de dérives d’horloge sur
différents serveurs. «Si l’incertitude est forte, Spanner ralentit pour attendre la
fin de cette incertitude », expliquent les chercheurs de Google60. C’est
l’incarnation du fantasme de pouvoir ralentir le temps, le faire avancer à
volonté, et soumettre la planète à un code temporel unique et exclusif. Si nous
considérons l’expérience humaine du temps comme une chose mouvante et
subjective, qui accélère ou ralentit selon l’endroit où nous sommes et avec qui,
alors c’est une expérience sociale du temps. TrueTime permet de créer une
échelle de temps variable sous le contrôle d’une horloge maître centralisée.
Tout comme Isaac Newton a imaginé une forme de temps absolu qui existe
indépendamment de tout sujet percevant, Google a inventé sa propre forme de
temps universel.
On utilise des formes de temps exclusives depuis longtemps pour assurer le
bon fonctionnement des machines. Les magnats des chemins de fer au XIXe
siècle avaient leurs propres formes de temps. En Nouvelle-Angleterre en1849,
par exemple, tous les trains devaient adopter «l’heure véritable de Boston telle
que la donnait William Bond & Son, 26 Congress Street61 ». Comme le
montre Peter Galison, les dirigeants des chemins de fer n’aimaient pas avoir à
changer d’heure en fonction de l’État de destination des trains, et le directeur
général de la New York&New England Railroad Company résumait ainsi la
situation: «C’est pénible, cela gêne tout le monde et, à ce que je sache, cela ne
sert à personne62.» Mais après une collision frontale qui a fait quatorze morts
en1853, il y a eu une immense pression pour coordonner toutes les horloges
grâce à la nouvelle technologie du télégraphe.
Comme l’intelligence artificielle, le télégraphe a été encensé en tant que
technologie unificatrice qui augmenterait les capacités des êtres humains.
En1889, Lord Salisbury déclarait fièrement que le télégraphe avait «rassemblé
l’humanité sur un seul et même plan63». Les entreprises, les gouvernements et
l’armée utilisaient le télégraphe pour rendre le temps rationnel et cohérent,
effaçant ses modes de mesure locaux. Et le télégraphe était dominé par l’un des
premiers grands monopoles industriels, Western Union. En plus de
transformer les limites temporelles et spatiales de l’interaction humaine, selon
James Carey, théoricien des communications, le télégraphe a aussi permis une
nouvelle forme de capitalisme de monopole: «Un nouveau corpus de lois, de
théories économiques, de dispositions politiques, de techniques de gestion, de
structures organisationnelles et de logiques scientifiques permettant de justifier
et de rendre effectif l’essor d’une entreprise monopolistique détenue et
contrôlée par le secteur privé64. » Cette interprétation implique un
déterminisme technologique à l’œuvre dans une série complexe de
développements, mais on peut dire que le télégraphe – couplé au câble
transatlantique–a permis aux puissances impériales de maintenir un contrôle
plus centralisé sur leurs colonies.
Le télégraphe a fait du temps un élément central du commerce. Au lieu
d’exploiter les différences de prix entre les régions en achetant à bas prix pour
revendre plus cher ailleurs, les commerçants ont dès lors négocié entre les
fuseaux horaires: il y a eu, selon Carey, un glissement de l’espace vers le temps,
de l’arbitrage vers les contrats à terme65. Les fuseaux horaires privatisés des
centres de données n’en sont que le dernier exemple. L’ordonnancement
infrastructurel du temps agit comme une sorte de « macrophysique du
pouvoir », déterminant une nouvelle logique de l’information à l’échelle
planétaire66. Un tel pouvoir est nécessairement centralisateur, et crée des ordres
de signification extrêmement difficiles à voir, et encore plus à perturber.
Le défi au temps centralisé est au cœur de cette histoire. Dans les
années 1930, quand Ford voulut renforcer son contrôle sur sa chaîne
d’approvisionnement mondiale, il créa une plantation et une usine de
caoutchouc au fin fond de la forêt tropicale brésilienne, dans une ville qu’il
baptisa Fordlandia. Il embaucha des ouvriers locaux pour l’exploitation et la
transformation du caoutchouc destiné à être expédié à Detroit, mais ses
tentatives d’imposer son processus de fabrication étroitement contrôlé à la
population se retournèrent contre lui. Lors d’une mutinerie, les ouvriers
détruisirent les pointeuses de l’usine et les dispositifs de surveillance des entrées
et sorties de chaque ouvrier sur le site.
D’autres formes d’insurrection se sont concentrées sur l’ajout de friction
dans le processus. L’anarchiste Émile Pouget parlait de « sabotage » pour
désigner l’équivalent de la grève perlée en usine, quand les ouvriers réduisent
délibérément leur rythme de travail67. L’objectif était d’abandonner l’efficacité,
de réduire la valeur du temps en tant que monnaie. Même s’il existera toujours
des moyens de résister à la temporalité imposée du travail, avec des formes de
surveillance algorithmique et par vidéo, cela devient beaucoup plus difficile,
car le rapport entre temps et travail est observé de toujours plus près.
Depuis les modulations subtiles du temps au sein des usines jusqu’aux
modulations à l’échelle des réseaux de computation planétaires, définir le
temps est une stratégie établie pour centraliser le pouvoir. Les systèmes
d’intelligence artificielle ont permis une exploitation accrue de la main-
d’œuvre répartie à travers le monde, pour tirer parti de topologies économiques
inégales. Simultanément, le secteur tech se crée un terrain de temps mondial
lisse pour renforcer et accélérer ses objectifs commerciaux. Le contrôle du
temps –que ce soit par les horloges des églises, des trains ou des centres de
données – a toujours eu un rôle dans le contrôle de l’ordre politique. Mais
cette lutte pour le contrôle n’a jamais été sans heurts, et ce conflit a d’immenses
ramifications. Les employés ont trouvé les moyens d’intervenir et de résister,
même quand des évolutions technologiques leur étaient imposées ou présentées
comme des améliorations souhaitables, en particulier si les seuls progrès
consistaient à accroître la surveillance et le contrôle exercés sur eux par
l’entreprise.
FIXER LE RYTHME
Amazon se donne beaucoup de mal pour contrôler ce que peut voir le grand
public en visitant un centre de distribution. On nous parle du salaire
minimum à quinze dollars de l’heure, des avantages pour les employés qui
restent plus d’un an, et on nous montre des salles de pause bien éclairées avec
ces slogans dignes d’Orwell sur les murs: «Frugalité», «Méritez la confiance
des autres» et «Prenez le parti de l’action». Le guide officiel d’Amazon s’arrête
dans des endroits prédéterminés pour expliquer joyeusement ce qui se passe
autour, avec des saynètes bien rodées. On répond attentivement à toutes les
questions sur les conditions de travail pour dresser le tableau le plus positif
possible. Mais il y a des signes de mécontentement et de dysfonctionnement
qui sont bien plus difficiles à gérer.
Dans l’entrepôt de préparation des commandes, où les «associés» doivent
porter des bacs gris remplis d’achats à envoyer, des tableaux blancs portent les
traces de récentes réunions. L’un est couvert de réclamations : les bacs sont
empilés trop hauts, les gestes nécessaires pour les attraper causent des douleurs
et des blessures considérables. Interrogé à ce propos, le guide d’Amazon
s’empresse de répondre que le problème sera réglé en baissant le tapis roulant
dans les zones concernées. La chose est présentée comme un succès : une
plainte a été enregistrée, et on va remédier au problème. Le guide en profite
pour expliquer une nouvelle fois que les syndicats sont inutiles chez Amazon,
car « les associés ont de nombreuses occasions d’interagir avec leurs
responsables », et que la syndicalisation ne fait qu’entraver la
communication68.
Mais en sortant de l’entrepôt, je passe devant un grand écran plat diffusant
les messages des employés en direct, surmonté d’un panneau « La Voix des
Associés ». C’est là que le vernis s’écaille : des plaintes défilent rapidement,
concernant les changements d’horaires arbitraires, l’impossibilité de prévoir ses
congés à l’approche des vacances, les fêtes familiales et anniversaires manqués.
Les réponses toutes faites de la direction semblent être autant de variations sur
le thème «Nous apprécions votre feedback».
« Ça suffit, Amazon. Nous voulons être traités comme des humains, pas
comme des robots69. » Ce sont les mots d’Abdi Muse, directeur exécutif de
l’Atwood Center de Minneapolis, une organisation communautaire qui milite
pour les conditions de travail des populations est-africaines du Minnesota. Sans
hausser la voix, Muse prend la défense des employés des entrepôts Amazon qui
demandent de meilleures conditions de travail. Beaucoup de membres de sa
communauté du Minnesota ont été embauchés par Amazon, qui les a
activement recrutés et a ajouté quelques avantages au contrat, comme le
transport gratuit en bus pour se rendre au travail.
Ce qu’Amazon n’a pas précisé, c’est «le rythme», le taux de productivité
imposé aux employés des centres de distribution, qui est vite devenu
insoutenable et, selon Muse, inhumain. Les employés ont commencé à souffrir
de stress intense, de blessures et de maladies. Muse explique que si leur taux
diminuait trois fois, ils étaient licenciés, quelle que soit leur ancienneté.
Certains ont admis devoir se passer des pauses toilettes de peur de ne pas
atteindre les objectifs.
Mais le jour où je l’ai rencontré, Muse était optimiste. Même si Amazon
décourage explicitement les syndicats, des groupes informels de travailleurs
sont apparus aux États-Unis et organisent des protestations. Un large sourire
aux lèvres, il m’apprend que ce mouvement commence à avoir un impact. «Il
se passe quelque chose d’incroyable. Demain, un groupe d’employés d’Amazon
quittera le travail. C’est un groupe de femmes tellement courageuses, ce sont
de vraies héroïnes70.» Ce soir-là, en effet, une soixantaine d’employées sont
sorties d’un centre de livraison à Eagan, dans le Minnesota, vêtues de leur gilet
jaune obligatoire. Il s’agissait surtout de femmes originaires de Somalie, qui
brandissaient sous la pluie des pancartes exigeant diverses améliorations,
comme une hausse de salaire pour le travail de nuit, ou une limitation du poids
des cartons71. Quelques jours auparavant, les employés d’Amazon à
Sacramento, en Californie, avaient protesté contre le licenciement d’un des
leurs qui avait dépassé d’une heure la durée du congé accordé après un décès
dans sa famille. Deux semaines auparavant, plus d’un millier d’employés
d’Amazon avaient organisé le premier débrayage dans l’histoire de l’entreprise,
à cause de son énorme empreinte carbone.
Finalement, les responsables d’Amazon dans le Minnesota ont consenti à
négocier. Ils étaient prêts à aborder de nombreuses questions, sauf « le
rythme». Muse raconte: «Ils ont dit que le rythme n’était pas un sujet de
discussion. On peut parler du reste, mais le rythme est leur modèle
économique. Impossible de le modifier72. » Les employés ont menacé de
quitter la table des négociations, mais Amazon n’en démordait pas. Pour les
parties en présence, «le rythme» était le cœur du problème, mais c’était aussi
l’élément le plus difficile à faire évoluer. Contrairement à d’autres conflits
sociaux où les contremaîtres locaux auraient pu accepter des concessions, le
rythme était fixé sur ce que les dirigeants et les ingénieurs tech à Seattle (loin
de l’entrepôt) avaient décidé, et ce pour quoi ils avaient programmé
l’infrastructure de distribution computationnelle en vue de l’optimiser. C’est la
maîtrise du temps par Amazon qui était menacée. Les employés et les
syndicalistes en sont venus à y voir la vraie question. Ils se consacrent donc à la
création d’un mouvement commun aux différentes usines et sections de la
main-d’œuvre Amazon, pour s’attaquer aux problèmes cruciaux de pouvoir et
de centralisation qu’incarne cet impitoyable «rythme».
Cette lutte pour la souveraineté sur le temps ne date pas d’hier, nous l’avons
vu. L’IA et la supervision algorithmique ne sont que les technologies les plus
récentes dans la longue histoire des usines, des horloges et des architectures de
surveillance. Bien d’autres secteurs – des chauffeurs Uber aux employés
Amazon en passant par les ingénieurs Google très bien rémunérés–partagent
désormais ce combat. Comme l’a dit avec force le directeur exécutif de la New
York Taxi Workers Alliance, Bhairavi Desai, «les travailleurs savent toujours.
Ils construisent la solidarité entre eux, aux feux rouges, dans les restaurants ou
dans les hôtels, parce qu’ils savent que pour prospérer, ils doivent faire cause
commune73». Les formes technologiques d’exploitation du personnel sont un
problème très répandu dans de nombreuses industries. Les travailleurs se
battent contre la logique de production et l’ordre du temps qu’on prétend leur
imposer. Les structures du temps ne sont jamais totalement inhumaines, mais
elles sont poussées jusqu’à la limite extrême de ce que la plupart des gens
peuvent tolérer.
Cette solidarité entre les secteurs professionnels n’est pas nouvelle non plus.
De nombreux mouvements, comme ceux que menaient les syndicats
traditionnels, ont su unir les travailleurs de différentes industries pour
remporter des victoires comme le paiement des heures supplémentaires, la
sécurité sur le lieu de travail, le congé parental et les weekends. Mais alors que
de puissants lobbies d’entreprise et les gouvernements néo-libéraux rognent
depuis plusieurs décennies sur les droits et la protection des travailleurs et
limitent les possibilités de s’organiser et de communiquer, le soutien transversal
devient plus difficile74. Les systèmes d’extraction et de surveillance par IA sont
devenus une cible partagée contre laquelle les syndicats peuvent former un
front uni75.
«Nous sommes tous des travailleurs de la haute technologie» est devenu un
slogan courant dans les manifestations, repris par les programmeurs, les
concierges, les employés de cafétéria et les ingénieurs76. On peut le lire de
plusieurs manières: il exige que le secteur tech reconnaisse l’immense main-
d’œuvre sur laquelle il s’appuie pour faire fonctionner ses produits, ses
infrastructures et ses lieux de travail. Il nous rappelle aussi que beaucoup
d’employés se servent d’ordinateurs portables et d’appareils mobiles pour leur
travail, utilisent des plateformes comme Facebook et Slack, et sont soumis à
divers systèmes d’IA sur le lieu de travail pour la standardisation, le suivi et
l’évaluation. C’est dans ce cadre qu’une forme de solidarité s’est construite
autour du travail en haute technologie. Mais il y a des risques à se focaliser sur
les employés du secteur tech dans ce qui est une lutte plus ancienne et plus
générale. Toutes sortes de travailleurs sont sujets aux infrastructures techniques
d’extraction qui cherchent à contrôler et à analyser le temps dans ses plus
petites unités, et dont beaucoup n’ont aucun lien avec le secteur tech. L’histoire
du travail et de l’automatisation nous rappelle que l’enjeu est de créer des
conditions plus justes pour chaque travailleur, et cet objectif plus vaste ne
devrait pas dépendre d’une définition élargie du travail tech pour gagner en
légitimité. Nous avons tous un intérêt collectif dans l’avenir du travail.
1Wilson, «Amazon and Target Race».
2Lingel et Crawford, «Alexa, Tell Me about Your Mother».
3Federici, «Salaire contre le travail ménager»; Gregg,
Counterproductive
.
4 Dans
Bureaucratie
, David Graeber décrit en détail le sentiment de perte
ressenti par les cols blancs, désormais chargés d’entrer des données dans les
systèmes de prise de décision qui ont remplacé le personnel affecté au
soutien administratif sur la plupart des lieux de travail.
5Smith,
La Richesse des nations
, p.11-15.
6Marx et Engels,
Manifeste du parti communiste
, p.82. Marx développe cette
notion de l’ouvrier comme «accessoire» dans
Le Capital
, «Livre Premier»,
p.474: «Dans la manufacture et dans l’artisanat, l’ouvrier se sert de l’outil,
dans la fabrique il sert la machine. Dans le premier cas, c’est de lui que
procède le mouvement du moyen de travail; dans le second, il doit suivre le
mouvement du moyen de travail. Dans la manufacture, les ouvriers sont les
membres d’un mécanisme vivant. Dans la fabrique, il existe,
indépendamment d’eux, un mécanisme mort auquel on les incorpore
comme des appendices vivants.»
7Luxemburg, «Économie politique pratique. Le livre II du
Capital
de Marx»,
Œuvres complètes II: À l’école du socialisme
.
8Edward P. Thompson,
Temps, discipline du travail et capitalisme industriel
.
9
Ibid
.
10Werrett, «Potemkin and the Panopticon», p.6.
11Voir, par exemple, Cooper, «The Portsmouth System of Manufacture».
12Foucault,
Surveiller et punir
; Horne et Maly,
The Inspection House
.
13Mirzoeff,
The Right to Look
, p.58.
14
Ibid
., p.55.
15
Ibid
., p.56.
16Gray et Suri,
Ghost Work
.
17Irani, «The Hidden Faces of Automation».
18Yuan, «How Cheap Labor Drives China’s A.I. Ambitions»; Gray et Suri,
«Humans Working behind the AI Curtain».
19Berg
et al
.,
Les Plateformes de travail numérique et l’avenir du travail
.
20Roberts,
Derrière les écrans
; Gillespie,
Custodians of the Internet
, p.111-140.
21Silberman
et al
., «Responsible Research with Crowds».
22
Ibid
.
23Huet, «The Humans Hiding behind the Chatbots».
24
Ibid
.
25Voir Sadowski, «Potemkin AI».
26Taylor, «The Automation Charade».
27
Ibid
.
28Gray et Suri,
Ghost Work
.
29Standage,
The Turk
, p.23.
30
Ibid
.
31Voir, par exemple, Aytes, «Return of the Crowds», p.80.
32Irani, «Difference and Dependence among Digital Workers», p.225.
33Pontin, «Artificial Intelligence».
34Menabrea, «Notions sur la machine analytique de M. Charles Babbage».
35Babbage,
Traité sur l’économie des machines et des manufactures
, p.70-79.
36Babbage s’est manifestement intéressé aux processus de contrôle de qualité
alors qu’il tentait (en vain) d’établir une chaîne d’approvisionnement fiable
pour les composants de ses machines à calculer.
37Schaffer, «Les machines calculatrices de Babbage et le “Factory System”»,
p.218.
38Taylor,
Démocratie.com
, p.53.
39Katz et Krueger, «Rise and Nature of Alternative Work Arrangements».
40Rehmann, «Taylorism and Fordism in the Stockyards», p.26.
41Braverman,
Travail et capitalisme monopoliste
, p. 73-74, 86 ; Specht,
Red
Meat Republic
.
42Taylor,
La Direction scientifique des entreprises
.
43Marx,
Misère de la philosophie
, p.101.
44Qiu, Gregg et Crawford, «Circuits of Labour»; Qiu,
Goodbye iSlave
.
45Markoff, «Skilled Work, without the Worker».
46Guendelsberger,
On the Clock Time-Sharing
, p.22.
47Greenhouse, «McDonald’s Workers File Wage Suits in3 States».
48
Ibid
.
49Mayhew et Quinlan, «Fordism in the Fast Food Industry».
50Ajunwa, Crawford et Schultz, «Limitless Worker Surveillance».
51Mikel, «WeWork Just Made a Disturbing Acquisition».
52Mahdawi, «Domino’s “Pizza Checker” Is Just the Beginning».
53Wajcman, «How Silicon Valley Sets Time».
54
Ibid
.
55Gora, Herzog et Tripathi, «Clock Synchronization».
56Eglash, «Broken Metaphor», p.361.
57Kemeny et Kurtz, «Dartmouth Times Sharing», p.223.
58Eglash, «Broken Metaphor», p.364.
59Brewer, «Spanner, TrueTime and the CAP Theorem».
60 Corbett
et al
., « Spanner », p. 14, cité dans House, « Synchronizing
Uncertainty», p.124.
61Galison,
L’Empire du temps
, p.93.
62
Ibid
., p.99.
63Colligan et Linley,
Media, Technology, and Literature
, p.246.
64Carey, «Technology and Ideology».
65
Ibid
., p.13.
66 Cette idée s’oppose à ce que Foucault a appelé « microphysique du
pouvoir» pour décrire comment les institutions et les systèmes créent leur
propre logique et leurs propres formes de validité. Foucault,
Surveiller et
punir
, p.31.
67Spargo,
Syndicalism, Industrial Unionism, and Socialism
.
68Conversation personnelle avec l’auteure au centre de distribution Amazon
de Robbinsville, New Jersey, 8octobre2019.
69Muse, «Organizing Tech».
70Muse, conversation personnelle avec l’auteure, 2octobre 2019.
71Gurley, «60Amazon Workers Walked Out».
72Muse cité dans «Organizing Tech», AI Now Institute.
73Desai cité dans «Organizing Tech», AI Now Institute.
74Estreicher et Owens, «Labor Board Wrongly Rejects Employee Access to
Company Email».
75 Cette remarque est le fruit de conversations avec divers syndicalistes,
chercheurs et ingénieurs tech, dont Astra Taylor, Dan Greene, Bo Daley et
Meredith Whittaker.
76Kerr, «Tech Workers Protest in SF».
3
Les données
Une jeune femme regarde vers le haut, les yeux fixés sur quelque chose hors
champ, comme si elle refusait d’admettre la présence de l’appareil photo. Sur
l’image suivante, elle regarde à mi-distance. Une autre nous la montre
échevelée, l’air abattu. Sur cette série de photos, on la voit vieillir au fil du
temps, les rides se creusent autour de sa bouche. Sur la dernière, elle apparaît
blessée et déprimée. Ce sont les photos d’identité judiciaire d’une femme,
prises lors de multiples arrestations tout au long de sa vie. Ces images figurent
dans une collection appelée NIST Special Database32–Multiple Encounter
Dataset, et partagée sur Internet pour les chercheurs qui voudraient tester leur
logiciel de reconnaissance faciale1.
Cet ensemble de données fait partie des nombreux conservés au National
Institute of Standards and Technology (NIST), un des laboratoires de sciences
physiques les plus anciens et les plus respectés aux États-Unis, qui fait
aujourd’hui partie du Département du Commerce. Le NIST a été créé
en 1901 pour renforcer l’infrastructure nationale de métrologie et créer des
normes qui puissent rivaliser avec les concurrents économiques du monde
industrialisé, comme l’Allemagne et le Royaume-Uni. Tout, depuis les dossiers
médicaux électroniques aux gratte-ciel antisismiques en passant par les horloges
atomiques, relève du domaine du NIST. Il est devenu l’organisme de mesure:
du temps, des protocoles de communication, des structures cristallines
inorganiques, de la nanotechnologie2. Le but du NIST est de rendre les
systèmes interopérables en définissant et soutenant des normes, qui concernent
désormais aussi l’intelligence artificielle. L’une de ses infrastructures de test
porte sur les données biométriques.
J’ai découvert ces bases de données en2017, quand je me suis intéressée aux
archives du NIST. Leurs collections biométriques sont immenses. Depuis plus
de cinquante ans, le NIST collabore avec le FBI sur la reconnaissance
automatique des empreintes digitales et développe des méthodes pour évaluer
la qualité des scanners d’empreintes et des systèmes d’imagerie3. Après les
attentats du 11 septembre, en 2001, le NIST a été associé à l’entreprise
nationale de création de normes biométriques pour identifier et tracer les
personnes entrant aux États-Unis4. Ce fut un tournant pour la recherche sur la
reconnaissance faciale, qui s’est étendue du maintien de l’ordre public au
contrôle des individus franchissant les frontières nationales5.
Les photos d’identité judiciaire sont accablantes. On voit des visages avec
des plaies, des bleus, des yeux au beurre noir ; des gens en détresse ou qui
pleurent. D’autres qui fixent l’appareil, le regard vide. Special
Dataset32contient des milliers de photos de personnes aujourd’hui décédées
qui ont fait l’objet de plusieurs arrestations et ont eu des démêlés répétés avec
le système de justice pénale. Dans ces ensembles de données, elles sont
présentées comme des points de données: il n’y a ni contexte, ni histoire, ni
nom. Parce que ces photos sont prises au moment de l’arrestation, on ne sait
pas si elles ont été condamnées, acquittées ou incarcérées. Elles sont toutes
présentées de la même façon.
L’inclusion de ces images dans la base de données du NIST a modifié leur
sens: utilisées pour identifier des individus dans des systèmes de maintien de
l’ordre, elles sont devenues la base technique pour tester des systèmes d’IA
commerciaux et universitaires de détection des visages. Dans son étude sur la
photographie policière, Allan Sekula affirme que les photos d’identité judiciaire
s’inscrivent dans une tradition de réalisme technique visant à « fourni[r] un
indicateur physiognomonique standard du criminel6». Il y a deux approches
distinctes dans l’histoire de la photographie policière, observe Sekula. Les
criminologues comme Alphonse Bertillon, inventeur de la photographie
d’identité judiciaire, y voyaient une sorte de machine biographique
d’identification, nécessaire pour repérer les récidivistes. À l’inverse, Francis
Galton, statisticien et père de l’eugénisme, utilisait le portrait composite de
prisonniers comme un moyen de détecter un «type criminel» biologiquement
déterminé7. Galton s’inscrivait dans un paradigme physiognomonique dont le
but était de définir une apparence extérieure généralisée pouvant servir à
identifier des traits de caractère profonds. Quand les photos d’identité
judiciaire servent de données d’entraînement, elles ne fonctionnent plus
comme des outils d’identification, mais plutôt comme des outils pour affiner
une forme automatisée de vision. On pourrait y voir un formalisme galtonien.
Les images sont utilisées pour détecter les composantes mathématiques
fondamentales des visages, pour « réduire la nature à son essence
géométrique8».
Les photos d’identité judiciaire font partie des archives employées pour
tester les algorithmes de reconnaissance faciale. Les visages du Multiple
Encounter Dataset sont devenus des images standardisées, un substrat
technique permettant de comparer la précision algorithmique. Le NIST, en
collaboration avec l’Intelligence Advanced Research Projects Activity (IARPA),
a organisé des concours avec ces photos, où des chercheurs s’affrontent pour
déterminer quel algorithme est le plus rapide et le plus précis. Les équipes
rivalisent dans des tâches comme la vérification d’identité ou la recherche d’un
visage à partir d’un réseau de vidéosurveillance9. Les gagnants ont de quoi
célébrer leur victoire: elle peut apporter la célébrité, des offres d’emploi et la
reconnaissance de tout le secteur10.
Ni les gens représentés sur les photos ni leurs familles n’ont leur mot à dire
sur l’usage qui est fait de ces images, et ils n’ont probablement aucune idée
qu’elles font partie des bancs d’essai de l’IA. Les sujets de ces photos d’identité
judiciaire sont rarement pris en considération, et peu d’ingénieurs les
regarderont de près. Selon le document descriptif du NIST, elles ne sont là que
pour « affiner les outils, techniques et procédures de reconnaissance faciale
comme support de la Next Generation Identification (NGI), de la
comparaison scientifique et criminalistique, d’entraînement, d’analyse, et pour
les normes de conformité des photos d’identité et des échanges entre agences
gouvernementales11 ». La description fournie par le Multiple Encounter
Dataset signale que beaucoup de personnes présentent des marques de
violences subies: cicatrices, ecchymoses, bandages. Mais le document conclut
que ces signes sont «difficiles à interpréter faute de vérité terrain (
ground truth
)
pour une comparaison avec un échantillon “propre”12 ». Ces personnes sont
considérées moins comme des individus que comme les éléments d’une
ressource technique partagée – un simple bloc de données du programme
Facial Recognition Verification Testing, l’étalon-or dans le domaine.
Au cours de mes années de recherches sur la construction des systèmes d’IA,
j’ai examiné des centaines d’ensembles de données, mais les photos d’identité
judiciaire des bases du NIST sont particulièrement troublantes parce qu’elles
préfigurent le modèle qui était à venir. Il ne s’agit pas seulement du pathos
accablant des images elles-mêmes. Ni de l’atteinte à la vie privée, puisque les
suspects et détenus n’ont pas le droit de refuser d’être photographiés. C’est que
les bases de données du NIST préfigurent l’émergence d’une logique qui a
désormais envahi tout le secteur tech : la conviction absolue que tout est
donnée exploitable. Peu importe où la photographie a été prise, qu’elle reflète
un moment de vulnérabilité ou de souffrance, qu’elle humilie le sujet. Il est
devenu tellement normal dans l’industrie de prendre et d’utiliser tout ce qui est
disponible que peu de gens remettent en question les politiques sous-jacentes.
En ce sens, les photos d’identité judiciaire sont l’essence de l’approche
actuelle des fabricants d’IA. Le contexte–et l’exercice du pouvoir–que ces
images incarnent est jugé sans importance parce qu’elles n’existent plus en tant
que choses distinctes en soi. Elles ne sont pas considérées comme porteuses de
sens ou de poids éthique, en tant que clichés d’individus ou représentations du
pouvoir structurel du système carcéral. C’est comme si leurs significations
personnelles, sociales et politiques étaient neutralisées. J’estime qu’il s’agit d’un
glissement de l’
image
vers l’
infrastructure
, où le sens et l’intérêt qu’on pourrait
accorder à l’image d’un individu, ou au contexte d’une scène, sont censément
effacés dès lors qu’ils font partie d’une masse agrégée au service d’un système
plus large. Tout est traité comme des données à exploiter dans des fonctions,
du matériau à ingérer pour améliorer les performances techniques. C’est l’un
des principes fondamentaux de l’idéologie de l’extraction de données.
Les systèmes d’apprentissage automatique s’entraînent tous les jours sur des
images comme celles-là–des images prises sur Internet ou dans les institutions
publiques sans contexte ni consentement. Elles sont tout sauf neutres. Elles
représentent des histoires personnelles, des inégalités structurelles, et toutes les
injustices qui accompagnent l’héritage du système policier et carcéral aux États-
Unis. Mais l’hypothèse selon laquelle ces images peuvent d’une manière ou
d’une autre servir de matériau inerte et apolitique influence ce que l’outil
d’apprentissage automatique «voit», et la façon dont il le voit. Un système de
vision par ordinateur peut détecter un visage ou un bâtiment, mais pas la
raison pour laquelle telle personne se trouvait dans un commissariat, ou tout
autre détail du contexte social et historique de ce moment-là. En fin de
compte, les cas spécifiques des données–la photo d’un visage, par exemple–
ne sont pas jugés importants pour entraîner un modèle d’IA. Tout ce qui
compte, c’est d’avoir un agrégat suffisamment varié. Toute image individuelle
pourrait facilement être remplacée par une autre, et le système fonctionnerait
de la même façon. Selon cette vision du monde, il y a toujours plus de données
à capturer dans le coffre aux trésors planétaire incommensurable d’Internet et
des plateformes de médias sociaux.
Une personne debout devant un appareil photo dans une tenue orange de
prisonnier est donc déshumanisée et réduite au rang de données
supplémentaires. L’histoire de ces images, comment elles ont été acquises, leur
contexte institutionnel, personnel et politique, rien n’est considéré comme
pertinent. Les collections de photos d’identité judiciaire sont utilisées comme
n’importe quelle autre ressource pratique d’images de visages gratuites et bien
éclairées, un standard pour faire fonctionner des outils comme la
reconnaissance faciale. Et à l’instar d’une vis que l’on serre, ces visages de
défunts, de suspects et de détenus sont récoltés pour perfectionner les systèmes
de reconnaissance faciale de la police et la surveillance des frontières, qui
servent ensuite à contrôler et arrêter davantage de personnes.
La dernière décennie a été marquée par une capture spectaculaire du
matériau numérique pour la production de l’IA. Ces données sont à la base de
la construction de sens dans l’IA, non pas en tant que représentations
classiques du monde dotées d’une signification individuelle, mais en tant que
collection massive de données pour les abstractions et les opérations des
machines. Cette collecte à grande échelle est devenue si fondamentale pour l’IA
qu’elle est incontestée. Comment en sommes-nous arrivés là ? Quelle
conception des données a pu faciliter cette perte du contexte, du sens et de la
spécificité ? Comment les données d’entraînement sont-elles obtenues,
comprises et utilisées en apprentissage automatique ? Comment les données
d’entraînement limitent-elles la manière dont l’IA interprète le monde ?
Quelles formes de pouvoir ces approches rendent-elles possibles et plus fortes?
Dans ce chapitre, je montre comment les données sont devenues une des
forces motrices du succès de l’IA et de son mythe, et comment est acquis tout
ce qui peut être facilement collecté. Mais les conséquences graves de cette
approche banalisée sont rarement abordées, alors même qu’elle aggrave les
asymétries de pouvoir. L’industrie de l’IA a favorisé une sorte de pragmatisme
sans merci, exploitant les données avec le minimum de contexte, de précaution
ou de consentement, tout en faisant valoir que la collecte massive de données
est nécessaire et justifiée pour créer des systèmes d’« intelligence »
computationnelle rentables. Il en a résulté une profonde métamorphose, où
toutes les formes d’image, de texte, de son et de vidéo ne sont devenues que des
données brutes pour les systèmes d’IA et où on pense que la fin justifie les
moyens. Mais il faudrait se demander qui profite le plus de cette
transformation, et pourquoi ces récits dominants persistent. Comme nous
l’avons vu dans les chapitres précédents, la logique d’extraction qui façonne le
rapport à la Terre et à la main-d’œuvre humaine est aussi une caractéristique
essentielle de la façon dont les données sont employées et comprises en IA. En
examinant de près les données d’entraînement comme exemple central dans
l’ensemble de l’apprentissage automatique, nous commencerons à discerner les
enjeux de cette transformation.
ENTRAÎNER LES MACHINES À VOIR
Il est utile d’examiner pourquoi les systèmes d’apprentissage automatique
nécessitent aujourd’hui des quantités massives de données. La vision par
ordinateur, le sous-domaine de l’intelligence artificielle qui consiste à
apprendre aux machines à détecter et à interpréter les images, en est un
exemple concret. Pour des raisons rarement admises dans le domaine
informatique, le projet d’interprétation des images est une entreprise
profondément complexe et relationnelle. Chargées de multiples significations
potentielles, de questions insolubles et de contradictions, les images ont
quelque chose de remarquablement fuyant. Pourtant, il est désormais courant,
dans les toutes premières étapes de la création d’un système de vision par
ordinateur, de récupérer des milliers, voire des millions d’images sur Internet,
de les ordonner selon une série de classifications créée, et de s’en servir comme
base de la façon dont le système percevra la réalité observable. Ces vastes
collections sont appelées ensembles de données d’entraînement et constituent
ce que les développeurs d’intelligence artificielle nomment
ground truth
ou
«vérité terrain»13. La vérité est donc moins affaire de représentation factuelle
ou de réalité consensuelle, et plus généralement un ramassis d’images
récupérées sur toutes les sources disponibles en ligne.
Pour l’apprentissage automatique supervisé, des ingénieurs humains
fournissent à un ordinateur des données d’entraînement étiquetées. Deux types
d’algorithmes distincts entrent alors en jeu: les algorithmes
d’apprentissage
et
les algorithmes
de classification
. Les premiers s’entraînent à partir d’exemples de
données étiquetées ; ils indiquent ensuite aux algorithmes de classification
comment analyser au mieux la relation entre les nouvelles entrées (
inputs
) et la
sortie (
output
) cible désirée–ou prédiction. Il peut s’agir de prédire si tel visage
est contenu dans une image, ou si tel courriel est un
spam
. Plus il y a
d’exemples de données correctement étiquetées, mieux l’algorithme sera
capable de produire des prédictions précises. Il existe de nombreux modèles
d’apprentissage automatique, dont les réseaux de neurones, la régression
logistique et les arbres de décision. Les ingénieurs choisissent un modèle en
fonction de ce qu’ils construisent–que ce soit un système de reconnaissance
faciale ou un moyen de détecter les sentiments dans les médias sociaux – et
l’adaptent à leurs ressources computationnelles.
Imaginons la construction d’un système d’apprentissage automatique pour
détecter la différence entre des images de pommes et des images d’oranges.
D’abord, le développeur doit collecter, étiqueter et entraîner un réseau
neuronal avec des milliers d’images étiquetées de pommes et d’oranges. Du
côté du logiciel, les algorithmes effectuent une étude statistique des images et
développent un modèle pour reconnaître la différence entre les deux catégories.
Si tout se passe comme prévu, le modèle entraîné pourra faire la distinction
entre les pommes et les oranges même sur les images qu’il n’a jamais vues
auparavant.
Mais si, dans notre exemple, toutes les images d’entraînement montrent des
pommes rouges et aucune vertes, alors le système d’apprentissage automatique
pourrait en déduire que « toutes les pommes sont rouges ». C’est ce qu’on
appelle
inférence inductive
, une hypothèse ouverte fondée sur les données
disponibles, par opposition à l’
inférence déductive
, qui découle logiquement
d’une prémisse14. Étant donné la manière dont le système a été entraîné, une
pomme verte ne sera pas reconnue en tant que pomme. Les ensembles de
données d’entraînement sont donc au cœur du processus par lequel la plupart
des systèmes d’apprentissage automatique font des inférences. Ils sont le
matériau source qu’utilisent les systèmes d’IA pour former la base de leurs
prédictions.
Les données d’entraînement ne définissent pas seulement les caractéristiques
des algorithmes d’apprentissage automatique. Elles servent aussi à évaluer leur
performance au fil du temps. Comme des pur-sang de compétition, ces
algorithmes sont constamment mis en concurrence à travers le monde entier
pour déterminer lesquels sont les plus performants sur un ensemble de
données. Ces bancs d’essai deviennent l’alphabet sur lequel repose une
lingua
franca
, de nombreux labos de pays convergeant autour d’ensembles canoniques
pour essayer de se surpasser les uns les autres. L’ImageNet Challenge est l’une
des compétitions les plus connues, où les chercheurs s’affrontent pour
déterminer quelles méthodes peuvent classifier et détecter le plus précisément
les objets et les scènes15.
Une fois que les ensembles d’entraînement ont été établis comme bancs
d’essai utiles, ils sont généralement adaptés, développés et élargis. Comme nous
le verrons au prochain chapitre, il s’en dégage un type de généalogie des
ensembles d’entraînement : ils héritent une logique apprise d’exemples
antérieurs et donnent naissance aux suivants. Par exemple, ImageNet s’appuie
sur la taxonomie de mots héritée d’une influente base de données lexicale des
années1980, WordNet; et WordNet est elle-même l’héritière de nombreuses
sources, dont le Brown Corpus d’un million de mots, publié en 1961. Les
ensembles de données d’entraînement reposent sur les épaules de classifications
et de collections plus anciennes. Comme une encyclopédie qui s’amplifie, les
formes anciennes subsistent et de nouvelles entrées sont ajoutées au fil des
décennies.
Les données d’entraînement constituent donc le fondement sur lequel sont
bâtis les systèmes actuels d’apprentissage automatique16. Ces ensembles
définissent les frontières épistémiques qui régissent le fonctionnement de l’IA
et, en ce sens, créent les limites de la façon dont l’IA peut «voir» le monde.
Mais les données d’entraînement sont une forme fragile de «vérité terrain», et
même les plus vastes mines de données ne peuvent échapper aux dérapages
fondamentaux qui se produisent lorsqu’un monde infiniment complexe est
simplifié et découpé en catégories.
UNE BRÈVE HISTOIRE DE LA DEMANDE DE DONNÉES
«Le monde en est arrivé à un âge d’appareils complexes, bon marché et très
fiables; il doit forcément en résulter quelque chose.» Voilà ce que déclarait
Vannevar Bush, inventeur et administrateur qui supervisa le Manhattan Project
en tant que directeur de l’Office of Scientific Research and Development, et
qui participa activement à la création de la National Science Foundation.
C’était en juillet 1945 ; les bombes n’avaient pas encore été lâchées sur
Hiroshima et Nagasaki, et Vannevar Bush avait une théorie sur un nouveau
type de système de connexion de données, encore à venir. Il envisageait les
« machines arithmétiques du futur » qui fonctionneraient à une vitesse
extrêmement rapide et qui « sélectionneraient leurs propres données et les
manipuleraient conformément aux instructions». Mais ces machines auraient
besoin de quantités colossales de données : « De telles machines auront un
appétit énorme. L’une d’entre elles recevra ses instructions et ses données d’une
pièce remplie de jeunes femmes armées d’un simple clavier, et fournira des
pages de résultats calculés toutes les deux ou trois minutes. Il y aura toujours
beaucoup de choses à calculer dans les affaires détaillées de millions de gens qui
font des choses compliquées17.»
La « pièce remplie de jeunes femmes » dont parlait Bush, c’était les
opératrices de saisie chargées du labeur quotidien de la computation. Comme
l’ont montré les historiennes Jennifer Light et Mar Hicks, ces femmes étaient
souvent reléguées au rang de périphériques d’entrée pour l’enregistrement de
données intelligibles. En fait, leur rôle était tout aussi important pour
l’élaboration des données et le fonctionnement des systèmes que celui des
ingénieurs qui ont conçu les calculateurs numériques pendant la guerre18. Mais
la relation entre les données et les machines de traitement était déjà envisagée
comme une relation de consommation sans fin. Les machines seraient avides
de données, et il y aurait certainement une vaste perspective de matériau à
extraire de millions de gens.
Dans les années1970, les chercheurs en intelligence artificielle ont surtout
exploré ce qu’on appelle l’approche des systèmes experts: une programmation
fondée sur des règles qui vise à réduire le champ des actions possibles en
articulant des formes de raisonnement logique. Mais il est vite devenu évident
que cette approche était fragile et peu pratique dans le monde réel, où un
ensemble de règles est rarement capable de gérer l’incertitude et la
complexité19. De nouvelles approches étaient nécessaires. Au milieu des
années 1980, les laboratoires de recherche se tournèrent vers des approches
probabilistes ou de «force brute». En bref, ils utilisaient beaucoup de cycles de
calcul pour calculer autant d’options que possible afin de trouver le résultat
optimal.
Un exemple remarquable est celui du groupe de reconnaissance vocale chez
IBM Research. Le problème de la reconnaissance vocale avait surtout été traité
à l’aide de méthodes linguistiques, mais Fred Jelinek et Lalit Bahl, chercheurs
en théorie de l’information, créèrent un nouveau groupe, qui incluait Peter
Brown et Robert Mercer (bien avant que Mercer ne devienne milliardaire, lié
au financement de Cambridge Analytica, à Breitbart News et à la campagne
présidentielle de Donald Trump en 2016). Ils envisagèrent les choses
différemment. Finalement, leurs techniques ont donné naissance aux
précurseurs des systèmes de reconnaissance vocale de Siri et Dragon Dictate,
ainsi que des systèmes de traduction automatique comme Google Translate et
Microsoft Translator.
Ils commencèrent par utiliser des méthodes statistiques qui se concentraient
davantage sur la fréquence d’apparition des mots les uns par rapport aux
autres, plutôt que d’essayer d’enseigner aux ordinateurs une approche fondée
sur des règles utilisant des principes grammaticaux ou des caractéristiques
linguistiques. Pour que cette approche statistique fonctionne, il fallait une
quantité énorme de données texte et voix réelles, en guise de données
d’entraînement. Comme l’écrit Xiaochang Li, spécialiste des médias, il fallut
une «réduction radicale de la parole à de simples données, qui pouvaient être
modélisées et interprétées en l’absence de toute connaissance ou
compréhension linguistique. Le discours
en soi
n’avait plus d’importance». Ce
glissement eut d’énormes conséquences, et il allait se répéter pendant des
décennies: la réduction du contexte à des données, du sens à la reconnaissance
de tendances statistiques. Li explique:
Se fier aux données plutôt qu’aux principes linguistiques présentait
néanmoins un nouvel ensemble de défis, car cela signifiait que les modèles
statistiques étaient nécessairement déterminés par les caractéristiques des
données d’entraînement. Par conséquent, la taille de l’ensemble de
données devint un sujet central de préoccupation […]. De plus grands
ensembles de faits observés amélioraient non seulement les estimations de
probabilité d’un processus aléatoire, mais augmentaient aussi les chances
que les données reflètent des faits plus rares. L’ampleur des données
d’entraînement était si cruciale pour l’approche d’IBM qu’en 1985,
Robert Mercer résuma les idées du groupe par cette formule: «Plus il y a
de données, mieux c’est.»20
Pendant plusieurs décennies, il resta très difficile d’obtenir des données.
Comme le dit Lalit Bahl dans une interview accordée à Li, «en ce temps-là
[…], il n’était même pas facile de trouver un million de mots de texte lisible
par un ordinateur. Et nous cherchions partout du texte21». Ils essayèrent les
manuels techniques d’IBM, les romans pour enfants, les brevets de technologie
laser, les livres pour aveugles, et même la correspondance dactylographiée de
Dick Garwin, un ancien chercheur de chez IBM, qui avait conçu la première
bombe à hydrogène22. Curieusement, leur méthode faisait écho à une nouvelle
futuriste de Stanislaw Lem, où un nommé Trurl décide de construire une
machine capable d’écrire des poèmes. Il commence par «huit cent vingt tonnes
de littérature cybernétique, ainsi que douze mille tonnes de poésie23». Mais
Trurl se rend compte que pour programmer une machine à poésie
automatique, il faut «répéter au préalable sinon l’évolution du cosmos tout
entier, du moins une bonne partie de celle-ci24».
En fin de compte, le groupe IBM trouva «une bonne partie» du cosmos
grâce à une source inattendue. Un important procès anti-trust fut intenté par
l’État contre IBM en1969; il dura treize ans, et près d’un millier de témoins
furent appelés à la barre. IBM employa une équipe considérable pour
simplement numériser toutes les dépositions sur des cartes perforées en code
Hollerith. Il en résulta dans les années 1980 un corpus d’une centaine de
millions de mots. Connu pour ses positions hostiles à toute intervention
fédérale, Mercer y voyait «un exemple d’utilité créée par hasard et malgré lui
par le gouvernement25».
IBM ne fut pas le seul groupe à commencer à récolter les mots à la tonne.
De1989à 1992, à l’Université de Pennsylvanie, une équipe de linguistes et
d’informaticiens travailla sur le Penn Treebank Project, base de données
textuelle annotée. Ils accumulèrent4,5millions de mots afin d’entraîner des
systèmes de traitement du langage naturel. Leurs sources incluaient des
abstracts émanant du Département de l’Énergie, des articles sur le Dow Jones,
et les rapports du Federal News Service concernant «l’activité terroriste» en
Amérique du Sud26. Les collections de textes naissantes empruntèrent à des
collections antérieures et produisirent de nouvelles sources. Ainsi apparut la
généalogie des collections de données, chacune construisant sur les
précédentes, souvent en important en bloc les mêmes particularités, les mêmes
problèmes, les mêmes omissions.
Un autre corpus classique venait de l’enquête pour fraude menée après la
faillite d’Enron, la plus retentissante de l’histoire des États-Unis. La Federal
Energy Regulatory Commission saisit les courriels de158employés à des fins
judiciaires27. Il fut aussi décidé de mettre en ligne ces courriels parce que «le
droit du public à la vérité l’emporte sur le droit des individus à la vie privée28».
Il en résulta une collection extraordinaire. Plus d’un demi-million d’échanges
en langage quotidien pouvaient désormais être utilisés comme mine
linguistique, où s’exprimaient les préjugés sexuels, raciaux et professionnels de
ces 158 personnes. Le corpus Enron a été cité dans des milliers d’articles
universitaires. Malgré sa popularité, il a rarement été examiné de près: le
New
Yorker
y voyait un «texte canonique que personne n’a vraiment lu29». Cette
dépendance envers les données d’entraînement ainsi rassemblées préfigurait
une nouvelle façon de faire. Elle transformait le domaine du traitement du
langage naturel et posait les bases de ce qui allait devenir une pratique normale
en apprentissage automatique.
C’est là qu’ont été semées les graines des problèmes ultérieurs. Les archives
textuelles étaient vues comme des collections linguistiques neutres, comme s’il
existait une équivalence générale entre les mots d’un manuel technique et la
façon dont les gens écrivent à leurs collègues dans des courriels. Tout texte était
réutilisable et échangeable, tant qu’il y en avait assez pour entraîner un modèle
à prédire avec succès quel mot pouvait suivre tel autre. Comme les images, les
corpus textuels reposent sur l’hypothèse que toutes les données d’entraînement
sont interchangeables. Mais le langage n’est pas une substance inerte qui
fonctionne indifféremment de l’endroit où on la trouve. Les phrases trouvées
sur le site d’actualités sociales Reddit sont différentes de celles qu’ont pu écrire
les cadres d’Enron. Les préjugés, les lacunes et les biais dans les textes recueillis
sont inscrits dans le système, et si un modèle linguistique se fonde sur les mots
qu’on rencontre ensemble, leur provenance a son importance. Il n’existe pas de
terrain neutre pour le langage, et toutes les collections de textes reflètent aussi
un temps, un lieu, une culture et une politique. De plus, les langues pour
lesquelles il y a moins de données disponibles ne sont pas servies par ces
approches et sont donc souvent laissées de côté30.
De toute évidence, bien des histoires et des contextes se combinent aux
données d’entraînement d’IBM, aux archives Enron ou à la Penn Treebank.
Comment démêler ce qui est significatif de ce qui ne l’est pas, pour
comprendre ces ensembles de données ? Comment communique-t-on des
avertissements du genre «Cet ensemble de données est susceptible de refléter
des préjugés dans la mesure où il s’appuie sur des articles de presse concernant
les terroristes sud-américains des années 1980 » ? Les origines des données
sous-jacentes d’un système peuvent avoir une importance énorme, mais trente
ans plus tard, il n’existe toujours pas de pratique standardisée pour signaler
d’où elles viennent ou comment elles ont été acquises, sans parler des préjugés
ou des opinions politiques contenus dans les ensembles de données,
susceptibles d’influencer tous les systèmes qui viendront à en dépendre31.
CAPTURER LE VISAGE
Alors que les textes lisibles par un ordinateur devenaient très appréciés pour la
reconnaissance vocale, le visage humain était la préoccupation centrale pour la
création de systèmes de reconnaissance faciale. Un exemple majeur est apparu
dans la dernière décennie du XXe siècle, financé par l’office de développement
des technologies anti-drogue du Département de la Défense. Il parraina le
programme FERET (Face Recognition Technology) afin de développer la
reconnaissance faciale automatique au service du renseignement et du maintien
de l’ordre. Avant FERET, on disposait de très peu de données d’entraînement
pour les visages humains, et il n’existait que quelques collections d’une
cinquantaine d’images ici et là, pas assez pour pratiquer la reconnaissance
faciale à grande échelle. L’U.S Army Research Laboratory se lança dans un
projet technique de création d’un ensemble de portraits de plus d’un millier de
personnes, sous des angles divers, pour finalement atteindre 14 126 images.
Comme les collections de photos d’identité judiciaire du NIST, FERET devint
un banc d’essai standard, un outil de mesure commun permettant de comparer
les approches.
Parmi les tâches pour lesquelles fut créée l’infrastructure FERET figuraient,
une fois encore, la recherche automatique de photos d’identité judiciaire, ainsi
que la surveillance des aéroports et des frontières, et la «détection de fraude»
dans les bases de données de permis de conduire (les recours multiples à l’aide
sociale étaient un exemple mentionné dans les documents FERET)32. Il existait
néanmoins deux scénarios de base. Dans le premier, un registre électronique de
photos d’individus connus était soumis à un algorithme qui devait trouver les
meilleures ressemblances au sein d’une galerie de portraits. Le second se
focalisait sur le contrôle des frontières et des aéroports, et il s’agissait
d’identifier un individu connu – « contrebandiers, terroristes ou autres
criminels»–parmi une vaste population d’inconnus.
Ces photographies ne sont pas destinées à des yeux humains mais
délibérément lisibles par une machine, et pourtant elles sont intéressantes à
regarder. Elles sont étonnamment belles – ce sont des images en haute
résolution, dans le style des portraits officiels. Prises avec des appareils35mm,
à la George Mason University, ces photographies en plan serré offrent une large
gamme d’individus, dont certains semblent avoir soigné leur tenue pour
l’occasion : coiffure étudiée, bijoux, maquillage. Le premier ensemble de
portraits, réalisé en1993-1994, est comme un résumé de la mode du début des
années1990. Les modèles devaient tourner la tête dans différentes directions;
en feuilletant les images, on voit des visages de profil ou de face, différents
degrés d’éclairage, parfois les tenues varient. Certains ont été photographiés sur
plusieurs années, pour identifier une personne malgré les signes de
vieillissement. Chaque modèle avait été briefé sur le projet et avait signé un
formulaire de décharge approuvé par le comité d’éthique de l’université. Ils
savaient à quoi ils participaient et avaient donné leur accord total33. Un tel
niveau de consentement allait devenir très rare par la suite.
FERET marqua l’apogée du style officiel de «production de données», avant
qu’Internet ne permette l’extraction massive sans aucune permission, sans
travail photographique soigné. Même à ce stade, pourtant, le manque de
diversité des images rassemblées posait problème. Le rapport FERET
de1996admet que «des questions ont été soulevées concernant la répartition
selon l’âge, l’ethnie et le sexe dans cette base de données» mais que, «à cette
étape du programme, l’essentiel était la performance de l’algorithme sur un
ensemble réunissant un grand nombre d’individus34». De fait, FERET s’avéra
formidablement utile. Quand l’intérêt pour la détection des terroristes
s’intensifia, le financement de la reconnaissance faciale augmentant de manière
spectaculaire après le 11 septembre, FERET devint le banc d’essai le plus
couramment utilisé. À partir de là, les systèmes de suivi biométrique et de
vision automatisée allaient rapidement gagner en ampleur et en ambition.
D’INTERNET À IMAGENET
Par bien des côtés, Internet a tout changé; dans le domaine de la recherche en
IA, on a fini par y voir une sorte de ressource naturelle, où tout le monde
pouvait puiser. À mesure que de plus en plus de gens téléchargeaient leurs
images sur des sites, des services de partage de photographies, et enfin sur les
plateformes des médias sociaux, le pillage démarra pour de bon. Tout à coup,
les ensembles d’entraînement pouvaient atteindre des proportions que les
scientifiques des années 1980 n’auraient jamais imaginées. Plus besoin
d’organiser des séances de pose avec éclairages variés, paramètres contrôlés et
positions mesurées. Il existait désormais des millions de selfies dans toutes les
lumières possibles, dans toutes les positions, et avec toutes les profondeurs de
champ. Les gens se mirent à partager les photos de leur bébé, de leur famille, à
montrer à quoi ils ressemblaient dix ans auparavant, ressource idéale pour
suivre les ressemblances génétiques et le vieillissement des visages. Des milliards
de lignes de texte, incluant des formes de discours soutenu ou familier, étaient
publiées chaque jour. C’était autant de grain à moudre pour les moulins de
l’apprentissage automatique. Et en immense quantité. Par exemple, un jour
ordinaire de l’année2019, environ350millions de photos étaient téléchargées
sur Facebook et 500 millions de tweets étaient publiés35. Et ce ne sont que
deux plateformes implantées aux États-Unis. Absolument tout ce qui était en
ligne pouvait devenir un ensemble d’entraînement pour l’IA.
Les titans de l’industrie tech étaient maintenant en position de force : ils
disposaient d’un approvisionnement en images et en texte toujours renouvelé.
Plus il y avait d’individus qui partageaient leur contenu, plus le secteur gagnait
en puissance. Les gens étiquetaient eux-mêmes leurs photographies, en
précisant les noms et les lieux, gratuitement, et ce travail non payé fournissait
des données plus précises et étiquetées pour les modèles linguistiques et la
vision artificielle. Au sein de l’industrie, ces collections sont extrêmement
précieuses. Ce sont des trésors rarement partagés, étant donné les questions de
vie privée et l’avantage compétitif qu’ils représentent. Mais en dehors du
secteur, par exemple dans les principaux labos universitaires d’informatique,
d’autres convoitaient ces avantages. Comment pouvaient-ils récolter les
données des gens et les faire étiqueter par des participants humains bénévoles?
C’est là que de nouvelles idées virent le jour: combiner les images et le texte
extraits d’Internet avec le travail de
crowdworkers
faiblement rémunérés.
L’un des ensembles d’entraînement les plus significatifs en IA est ImageNet.
Il fut imaginé en2006, quand la professeure Fei-Fei Li décida de construire un
énorme ensemble de données pour la reconnaissance des objets. «Nous avons
pris la décision d’accomplir une chose absolument sans précédent, dit Li. Nous
allons cartographier l’univers entier des objets36. » Un premier poster
scientifique fut publié par l’équipe d’ImageNet lors d’un colloque sur la vision
par ordinateur en2009. Il s’ouvrait par cette description:
L’ère digitale a entraîné une énorme explosion de données. Selon les
dernières estimations, on compte plus de3milliards de photos sur Flickr,
un nombre semblable de vidéos sur YouTube, et une quantité d’images
plus grande encore sur la base de données Google Images. Des modèles et
des algorithmes plus sophistiqués et plus solides peuvent être proposés en
exploitant ces images, d’où de meilleures applications permettant aux
utilisateurs d’indexer, de récupérer, de classer ces données et d’interagir
avec elles37.
D’emblée, les données furent présentées comme une masse désorganisée et
impersonnelle, prête à l’exploitation. Selon les auteurs, «il reste à résoudre le
problème de l’utilisation et de l’organisation de ces données». En extrayant des
millions d’images sur Internet, principalement grâce aux moteurs de recherche
utilisant l’option recherche d’image, l’équipe produisit une « ontologie des
images à grande échelle», censée servir de ressource pour «offrir des données
cruciales d’entraînement et de banc d’essai» aux algorithmes de reconnaissance
d’objets et d’images. Avec cette approche, ImageNet devint énorme. L’équipe
récolta plus de quatorze millions d’images sur Internet, à organiser selon plus
de vingt mille catégories. Les préoccupations éthiques face à cette
appropriation ne furent mentionnées dans aucun des articles produits par
l’équipe, alors même que plusieurs milliers de ces images étaient de nature
extrêmement personnelle et compromettante.
Une fois les images récupérées sur Internet, un souci apparut: qui allait les
étiqueter toutes et les ranger dans des catégories intelligibles? Tel que le décrit
Li, le premier projet de l’équipe consistait à payer des étudiants dix dollars de
l’heure pour trouver les images manuellement et les ajouter à l’ensemble de
données38. Mais elle comprit qu’avec leur budget, il faudrait près d’un siècle
pour y parvenir. La solution apparut lorsqu’un étudiant parla à Li d’un
nouveau service : Amazon Mechanical Turk. Comme nous l’avons vu au
chapitre 2, cette plateforme donnait accès à une main-d’œuvre répartie à
travers le monde pour lui confier des tâches en ligne, comme l’étiquetage et le
tri d’images, à grande échelle et à faible coût. «Il m’a montré le site, et je peux
vous dire que ce jour-là, j’ai su que le projet ImageNet allait se concrétiser,
explique Li. Tout à coup, nous avions un outil qui pouvait être mis à l’échelle
voulue, comme nous n’aurions pu en rêver en embauchant des étudiants de
Princeton39.» Évidemment, le travail échappa auxdits étudiants.
ImageNet allait donc devenir pour un temps le plus grand usager
universitaire du service fourni par Amazon, déployant une armée de travailleurs
à la pièce pour trier en moyenne cinquante images par minute selon des
milliers de catégories40. Il y avait des catégories pour les pommes et les avions,
pour les plongeurs et les lutteurs de sumo. Mais il y avait aussi des étiquettes
cruelles, insultantes et racistes: les photographies de personnes pouvaient être
classées selon des catégories comme « alcoolique », « homme-singe »,
«dingue», «prostituée» ou «yeux bridés». Tous ces termes étaient importés
de la base de données lexicale de WordNet et fournis aux
crowdworkers
pour
qu’ils les associent aux images. En une décennie, ImageNet devint un géant de
la reconnaissance d’objets pour l’apprentissage automatique et un puissant
banc d’essai dans ce domaine. L’approche combinant extraction massive de
données sans consentement et étiquetage par des
crowdworkers
sous-payés allait
devenir la pratique courante, et des centaines de nouveaux ensembles de
données d’entraînement allaient suivre l’exemple d’ImageNet. Comme nous le
verrons au prochain chapitre, ces pratiques–et les données étiquetées qu’elles
généraient–finirent par se retourner contre le projet.
LA FIN DU CONSENTEMENT
Les premières années du XXIe siècle s’éloignèrent résolument de la collecte de
données par consentement des intéressés. Non contents de se dispenser de la
nécessité d’organiser des séances de pose, les créateurs d’ensembles de données
supposaient que le contenu d’Internet était à tout le monde, sans qu’il faille
s’encombrer d’accords signés ou de considérations éthiques. Des pratiques
d’extraction encore plus troublantes naquirent alors. Par exemple, sur le
campus universitaire de Colorado Springs, un professeur installa sur la
principale voie piétonne un appareil qui photographia à leur insu plus de mille
sept cents étudiants et membres de la faculté, afin d’entraîner son propre
système de reconnaissance faciale41. Un projet similaire, à Duke University,
collecta des films de plus de deux mille étudiants sans les prévenir, tandis qu’ils
allaient d’un amphi à l’autre, puis publia le résultat sur Internet. Cet ensemble
de données, appelé DukeMTMC (reconnaissance faciale à cibles multiples et à
caméras multiples), fut financé par l’U.S Army Research Laboratory et par la
National Science Foundation42.
Le projet DukeMTMC fut sévèrement critiqué lorsque les artistes et
chercheurs Adam Harvey et Jules LaPlace révélèrent que le gouvernement
chinois utilisait les images pour entraîner des systèmes de surveillance des
minorités ethniques. Le Comité de protection des personnes de Duke
University mena donc une enquête et découvrit qu’il s’agissait d’un « écart
considérable» par rapport aux pratiques acceptables. L’ensemble des données
fut retiré d’Internet43.
Mais ce qui se passa à l’Université du Colorado et à Duke n’avait rien
d’exceptionnel. À Stanford, des chercheurs placèrent une webcam dans un café
très fréquenté de San Francisco pour extraire près de douze mille images de «la
vie quotidienne d’un café du centre-ville» sans demander le consentement de
quiconque44. À maintes et maintes reprises, des données obtenues sans
permission ni consentement allaient être téléchargées par des chercheurs en
apprentissage automatique, qui les utiliseraient comme infrastructure pour des
systèmes d’imagerie automatisée.
Un autre exemple est le fameux ensemble d’entraînement MS-Celeb de
Microsoft qui, en2016, récolta sur Internet environ dix millions de photos de
quelque cent mille célébrités. À l’époque, c’était le plus grand ensemble de
données public au monde en matière de reconnaissance faciale, et les personnes
incluses n’étaient pas seulement des acteurs et des personnalités politiques,
mais aussi des journalistes, des militants, des décideurs, des universitaires et des
artistes45. Par une ironie du sort, plusieurs des individus qui y avaient été
inclus sans leur consentement sont connus pour leur travail contre la
surveillance et la reconnaissance faciale, notamment la réalisatrice de
documentaires Laura Poitras, la militante des droits numériques Jillian York, le
critique Evgeny Morozov et l’auteur de
L’Âge du capitalisme de surveillance
,
Shoshana Zuboff46.
Même quand les informations personnelles sont supprimées de ces
ensembles de données, même lorsque ceux-ci sont diffusés avec prudence, des
personnes ont pu être identifiées et des détails «sensibles» ont été divulgués.
En 2013, par exemple, la New York City Taxi and Limousine Commission
publia un ensemble de données réunissant 173millions de courses en taxi, avec
les heures de prise en charge et de dépose, les lieux, les prix de la course et le
montant du pourboire. Le numéro d’identification des chauffeurs était flouté,
mais il était facile de le retrouver, et donc d’en déduire des informations
sensibles comme le revenu annuel et l’adresse personnelle47. En combinant ces
détails avec des informations publiques trouvées sur des blogs consacrés aux
célébrités, certains acteurs et personnages politiques purent être identifiés, et il
fut possible d’en déduire l’adresse des gens fréquentant les boîtes de strip-
tease48. Par-delà les dégâts individuels, ces ensembles de données engendrent
aussi des « nuisances prédictives » pour des groupes entiers ou des
communautés49. Par exemple, le même ensemble de données des taxis new-
yorkais a été utilisé pour deviner quels chauffeurs étaient des musulmans pieux
en vérifiant s’ils s’arrêtaient aux heures de prière50.
D’un ensemble de données apparemment inoffensives et anonymisées
peuvent résulter de nombreuses formes d’information inattendues et très
personnelles, mais cela n’a pas empêché la récolte d’images et de texte. Comme
la réussite de l’apprentissage automatique dépendait d’ensembles de données
toujours plus étendus, de plus en plus de gens cherchent à en acquérir. Mais
pourquoi le vaste domaine de l’IA accepte-t-il cette pratique, malgré les
terribles problèmes éthiques, politiques et épistémologiques qu’elle peut
causer ? Quelles croyances, quelles justifications, quelles incitations
économiques ont pu normaliser cette extraction massive et cette équivalence
générale des données?
MYTHES ET MÉTAPHORES DES DONNÉES
Souvent citée, l’histoire de l’intelligence artificielle par le professeur Nils
Nilsson esquisse plusieurs des mythes fondateurs de l’apprentissage
automatique. Il montre bien comment les données sont généralement décrites
dans les disciplines techniques: «Le gigantesque volume des données brutes
exige des techniques efficaces d’exploration des données pour classer, quantifier
et extraire les informations utiles. Les méthodes d’apprentissage automatique
jouent un rôle toujours plus important dans l’analyse des données parce
qu’elles peuvent en affronter des quantités massives. En fait, plus il y a de
données, mieux cela vaut51.»
Faisant écho à Robert Mercer quelques décennies auparavant, Nilsson voyait
partout des données disponibles, et c’était une bonne nouvelle pour la
classification massive par les algorithmes d’apprentissage automatique52. Cette
conviction était si répandue qu’elle devint axiomatique: les données étaient là
pour être achetées, affinées et rendues précieuses.
Mais des intérêts particuliers prirent soin de fabriquer cette conviction et de
l’étayer. Comme le notent les sociologues Marion Fourcade et Kieran Healy,
l’injonction de toujours collecter des données venait non seulement des
professionnels des données, mais aussi de leurs institutions et des technologies
qu’elles déploient:
Le commandement institutionnel venant de la technologie est le plus
puissant de tous : nous faisons cela
parce que nous pouvons
[…]. Les
professionnels recommandent, l’environnement institutionnel exige, et la
technologie permet aux organisations de collecter autant de données
individuelles que possible. Peu importe que la quantité collectée dépasse
de loin la capacité imaginative ou analytique d’une entreprise. Le
présupposé est qu’elles finiront par être utiles, et donc précieuses […]. Les
organisations actuelles sont à la fois soumises à cet impératif culturel et
dotées de puissants nouveaux outils pour le satisfaire53.
Il en résultait une sorte d’impératif moral incitant à collecter des données
pour rendre les systèmes meilleurs, indépendamment des effets négatifs que la
collecte de données pourrait avoir ultérieurement. Derrière la conviction
contestable que «plus il y en a, mieux c’est» se cache l’idée que les individus
peuvent être entièrement connus, dès lors que l’on réunit assez de données
disparates54. Mais qu’appelle-t-on alors « données » ? L’historienne Lisa
Gitelman note que toutes les disciplines et institutions ont « leurs propres
normes et standards pour imaginer les données55». Au XXIe siècle, est considéré
comme faisant partie des données tout ce qui peut être collecté.
Des expressions comme « forage de données » ou « les données sont le
nouveau pétrole » témoignent d’un glissement rhétorique par lequel les
données ont cessé d’être quelque chose de personnel, d’intime, appartenant à
un individu qui en a la maîtrise, pour désormais relever davantage de l’inerte,
du non humain. Les données ont commencé à être décrites comme une
ressource à consommer, un flux à contrôler, ou un investissement dont il fallait
tirer parti56. La comparaison avec le pétrole se répandit et, même si elle
présentait les données comme un matériau brut à extraire, elle était rarement
employée pour souligner le coût des industries minière et pétrolière :
travailleurs asservis, conflits géopolitiques, épuisement des ressources et
conséquences s’étendant bien au-delà des durées de vie humaines.
En fin de compte, «données» est devenu un mot exsangue, qui déguise à la
fois ses origines matérielles et ses fins. Et si les données sont perçues comme
abstraites et immatérielles, elles tombent d’autant plus facilement en dehors
des conceptions traditionnelles et des responsabilités en matière de
consentement et de risque. Comme l’affirment les chercheurs Luke Stark et
Anna Lauren Hoffman, la métaphore des données comme « ressources
naturelles» attendant d’être découvertes est une ruse rhétorique établie, utilisée
depuis des siècles par les puissances coloniales57. L’extraction est justifiée si elle
vient d’une source primitive et « non raffinée58 ». Si les données sont
présentées comme le pétrole, en attente d’extraction, alors l’apprentissage
automatique devient le nécessaire processus de raffinage.
Les données pouvaient aussi être perçues comme un capital, conformément
à la vision néolibérale des marchés comme formes premières d’organisation de
la valeur. Une fois que les activités humaines sont exprimées par le biais de
traces numériques, puis calculées et classées en fonction d’une notation
métrique, elles fonctionnent comme moyen d’extraire de la valeur. Comme
l’observent Fourcade et Healy, ceux qui ont les bons signaux de données
obtiennent des avantages comme une assurance à tarif réduit et une meilleure
position sur les marchés59. Ceux qui réussissent dans l’économie dominante
ont tendance à réussir aussi dans l’économie des données, tandis que les plus
pauvres deviennent la cible des formes les plus néfastes de surveillance et
d’extraction des données. Quand les données sont considérées comme une
forme de capital, alors tout ce qui permet d’en collecter plus devient permis.
De même, le sociologue Jathan Sadowski considère que les données opèrent
aujourd’hui comme une forme de capital. Dès lors que tout est perçu en tant
que données, cela justifie un cycle d’extraction toujours accru: «La collecte de
données est alimentée par le cycle perpétuel de l’accumulation du capital, qui à
son tour pousse le capital à construire un monde où tout est composé de
données. La prétendue universalité des données recadre tout à l’intérieur du
domaine du capitalisme de données. Tous les espaces doivent être soumis à la
datafication
, la mise en données. Si l’univers est conçu comme une réserve de
données potentiellement infinie, cela signifie que l’accumulation et la
circulation des données peut être entretenue pour l’éternité60».
Le besoin d’accumuler et de faire circuler est la puissante idéologie sous-
jacente. L’extraction massive de données est la « nouvelle frontière de
l’accumulation et la prochaine étape du capitalisme », suggère Sadowski, et
c’est la couche de fondation qui fait fonctionner l’IA61. Il existe ainsi des
industries, des institutions et des personnes qui refusent que l’on conteste ou
que l’on déstabilise cette frontière, où les données sont là pour qui veut s’en
saisir.
Pour devenir plus précis, les modèles d’apprentissage automatique exigent
un flux continu de données. Mais les machines sont asymptotiques, elles
n’atteignent jamais la précision totale, ce qui justifie une extraction continue
auprès du maximum d’individus possibles, pour alimenter les raffineries d’IA.
On s’éloigne ainsi de notions comme celle de «sujets humains», concept né
des débats éthiques du XXe siècle, au profit de « sujets de données »,
agglomérats de points de données sans subjectivité, ni contexte, ni droits
clairement définis.
L’ÉTHIQUE VUE DE LOIN
L’essentiel de la recherche universitaire en IA est exempt de tout examen
éthique. Mais si les techniques d’apprentissage automatique sont utilisées pour
informer les décisions dans des domaines sensibles comme l’éducation et les
soins de santé, alors pourquoi ne sont-elles pas étudiées de plus près? Pour le
comprendre, il faut se pencher sur les disciplines qui ont servi de précurseurs à
l’intelligence artificielle. Avant l’apparition de l’apprentissage automatique et
de la science des données, des domaines comme les mathématiques appliquées,
la statistique et l’informatique n’étaient pas considérés historiquement comme
des formes de recherche sur les sujets humains.
Durant les premières décennies de l’IA, la recherche utilisant des données
humaines était généralement perçue comme un risque minimal62. Même si les
ensembles de données, en apprentissage automatique, proviennent et
représentent souvent des gens et leur vie, la recherche qui utilisait ces
ensembles était plutôt vue comme relevant des mathématiques appliquées, sans
grandes conséquences pour les sujets humains. Les infrastructures de vigilance
éthique, comme les comités de protection des personnes (CPP), ont accepté
cette position pendant des années63. Au départ, c’était logique : les CPP se
focalisaient majoritairement sur les méthodes communes aux expériences
biomédicales et psychologiques, où les interventions comportent un risque
évident pour les individus. L’informatique semblait bien plus abstraite.
Une fois l’IA sortie du contexte des laboratoires, dans les
années1980et1990, pour entrer dans des situations du monde réel–comme
lorsque l’on tente de prédire quels criminels vont récidiver, ou qui peut
bénéficier de prestations sociales–, les dégâts potentiels se sont amplifiés. De
plus, ces dégâts affectent non seulement des individus, mais aussi des
communautés entières. Il persiste néanmoins une forte présomption selon
laquelle les ensembles de données publiquement accessibles posent un risque
minimal et devraient donc échapper à l’examen éthique64. Cette idée est le
fruit d’une époque antérieure, où il était plus difficile de déplacer les données
d’un lieu à l’autre et où il était très coûteux de les stocker longtemps. Ces
premiers présupposés sont sans rapport avec ce qui se passe aujourd’hui en
apprentissage automatique. Les ensembles de données sont plus faciles à
connecter, réutilisables à l’infini, ils peuvent être constamment remis à jour et
sont fréquemment détachés du contexte de leur collecte.
Le profil de risque de l’IA change rapidement, à mesure que ses outils
deviennent plus intrusifs et que les chercheurs ont de plus en plus accès aux
données sans interagir avec leurs sujets. Par exemple, un groupe de chercheurs
en apprentissage automatique a publié un article dans lequel ils affirment avoir
élaboré un «système automatique de classement des crimes65». En particulier,
ils voulaient déterminer si tel crime violent était lié à un gang, chose que leur
réseau de neurones était censément capable de prévoir à partir de seulement
quatre informations: l’arme, le nombre de suspects, le quartier et le lieu exact.
Ils se servaient d’une base de données de la police de Los Angeles, qui inclut
des milliers de crimes étiquetés comme «liés à un gang».
Il est reconnu que les données concernant les gangs sont biaisées et truffées
d’erreurs, mais les chercheurs utilisent cette base et d’autres semblables comme
source fiable pour entraîner des systèmes prédictifs d’IA. Par exemple, il a été
prouvé que la base de données CalGang, très employée par la police en
Californie, contenait des inexactitudes graves. Un audit de l’État a révélé
que23% des centaines de dossiers examinés n’avaient aucune raison valable de
figurer dans cette base de données. Elle contenait aussi quarante-deux enfants
en bas âge, dont vingt-huit avaient « reconnu faire partie d’un gang66 ». La
plupart des adultes figurant sur la liste n’avaient jamais été inculpés, mais une
fois dans la base de données, il était impossible d’en retirer leur nom. Leur
présence s’expliquait parfois parce qu’ils portaient une chemise rouge le jour où
ils bavardaient avec un voisin: à cause de prétextes aussi futiles, de nombreux
Hispaniques et Africains-Américains avaient été ajoutés à la liste, de façon tout
à fait disproportionnée67.
Quand les chercheurs ont présenté leur projet lors d’un colloque, certains
membres de l’auditoire s’en sont émus. Comme signalé dans le magazine
Science
, diverses questions ont été posées : « Comment l’équipe pouvait-elle
être sûre que les données d’entraînement n’étaient pas biaisées?» ou «Que se
passe-t-il quand une personne est étiquetée à tort comme membre d’un
gang?». Hau Chan, informaticien qui enseigne à présent à Harvard, répliqua
qu’il ne pouvait pas savoir comment ce nouvel outil serait utilisé: «C’est le
genre de questions éthiques auxquelles je n’ai pas de réponse adéquate »,
puisqu’il était simplement chercheur. Quelqu’un lui opposa cette phrase, tirée
d’une chanson satirique de Tom Lehrer à propos de Werhner von Braun,
ingénieur qui conçut les fusées allemandes pendant la guerre : « Quand les
fusées ont décollé, peu importe où elles retombent!68»
Cette séparation entre questions éthiques et aspects techniques reflète un
problème plus large : les chercheurs en IA semblent inconscients de leur
responsabilité, comme si la faculté de nuire se situait dans un autre domaine.
Anna Lauren Hoffman écrit à ce propos: «Le problème ne se borne pas à des
ensembles de données biaisés, à des algorithmes injustes et à des conséquences
imprévues. Il indique aussi que, de manière persistante, les chercheurs
reproduisent activement des idées néfastes pour les communautés vulnérables,
renforçant les injustices existantes. Même si le système d’identification de la
violence de gang proposé par l’équipe de Harvard n’est jamais mis en place, le
mal n’est-il pas déjà fait? Leur projet n’était-il pas en soi un acte de violence
culturelle69? » Éluder les questions éthiques est nuisible en soi, et perpétue
l’idée fausse selon laquelle la recherche scientifique a lieu dans un vide, sans
aucune responsabilité quant aux idées qu’elle propage.
La reproduction d’idées nuisibles est particulièrement dangereuse
maintenant que l’IA a cessé d’être une discipline expérimentale uniquement
utilisée en laboratoire, pour être testée sur des millions de gens. Les approches
techniques présentées dans des communications lors de colloques peuvent
rapidement se déployer dans des systèmes de production, où les présupposés
nuisibles s’inscrivent durablement et deviennent difficiles à effacer.
Les méthodes d’apprentissage automatique et de science des données
peuvent créer une relation abstraite entre les chercheurs et leurs sujets : le
travail se fait à distance, loin des communautés et des individus qui risquent
d’en être les victimes. Cette relation distante que les chercheurs en IA ont avec
les personnes dont la vie se reflète dans les ensembles de données est une
pratique établie de longue date. En 1976, quand le scientifique Joseph
Weizenbaum écrivit une dénonciation impitoyable de la recherche en IA, il
remarquait que l’informatique cherchait déjà à circonvenir tous les contextes
humains70. Il affirmait que, pendant la guerre, les systèmes de données avaient
permis aux savants d’instaurer une distance psychologique par rapport aux
individus «qui seraient mutilés et tués par les systèmes d’armes résultant des
idées communiquées71». Selon Weizenbaum, il fallait se confronter à ce que
les données représentent réellement: «Cette leçon est donc que le savant et le
technologue doivent, par des actes de volonté et d’imagination, s’efforcer de
réduire de telles distances psychologiques, de contrer les forces tendant à les
éloigner des conséquences de leurs actes. Ils doivent–c’est aussi simple que
cela–réfléchir à ce qu’ils sont en train de faire72.»
Weizenbaum espérait que les scientifiques et les technologues réfléchiraient
plus profondément aux conséquences de leur travail, et aux personnes qu’ils
mettaient en danger. Hélas, cette attitude n’est pas devenue monnaie courante
dans le domaine de l’IA. Les données sont couramment perçues comme
consommables à volonté, utilisables sans restriction, et interprétables sans
contexte. Il existe une culture internationale de la rapacité en matière de
collecte des données ; cette forme d’exploitation intrusive peut causer des
dégâts durables73. Et il existe de nombreuses industries, institutions et
personnes qui ont tout intérêt à entretenir cette attitude colonisatrice (les
données sont à qui s’en empare) sans qu’elle puisse être contestée ou
réglementée.
LA CONQUÊTE DES BIENS COMMUNS
La culture d’extraction des données actuellement très répandue continue à
s’amplifier malgré les inquiétudes qu’elle suscite du point de vue de la vie
privée, de l’éthique et de la sécurité. En me documentant sur les milliers
d’ensembles de données disponibles gratuitement pour l’IA, j’ai entrevu ce que
les systèmes techniques sont conçus pour reconnaître, comment le monde est
présenté aux ordinateurs, d’une manière que les humains voient rarement. Il
existe de gigantesques ensembles de données remplis de selfies, de tatouages, de
parents se promenant avec leurs enfants, de gestes de la main, de gens
conduisant leur voiture, d’individus commettant des crimes filmés par des
caméras de surveillance, et de centaines d’actions humaines quotidiennes
(s’asseoir, lever le bras, prendre un verre, pleurer…). Toutes les formes de
données biographiques – médico-légales, biométriques, sociométriques,
psychométriques–sont insérées dans des bases permettant aux systèmes d’IA
de trouver des modèles et de procéder à des évaluations.
Les ensembles d’entraînement posent des questions complexes sur le plan
éthique, méthodologique et épistémologique. Beaucoup d’entre eux ont été
constitués à l’insu des personnes ou sans leur consentement, et ont été prélevés
sur des sources en ligne comme Flickr, Google Images et YouTube, ou ont été
fournis par des organismes gouvernementaux comme le FBI. Ces données sont
maintenant utilisées pour élargir les systèmes de reconnaissance faciale, et pour
alimenter des outils de police préventive. Mais les pratiques d’extraction des
données s’étendent de plus en plus loin dans des zones de la vie humaine qui
étaient jadis hors limites ou trop coûteuses à atteindre. Les entreprises tech
emploient toutes sortes d’approches pour conquérir de nouveaux terrains. Les
données vocales sont collectées grâce à des appareils utilisés sur le plan de
travail d’une cuisine ou sur la table de chevet d’une chambre à coucher; les
données physiques proviennent des montres à nos poignets ou des téléphones
dans nos poches ; les données sur les livres et les journaux que nous lisons
viennent des tablettes et des ordinateurs portables; les gestes et les expressions
du visage sont compilés et évalués sur le lieu de travail et dans les salles de
classe.
La collecte de données personnelles pour construire les systèmes d’IA va
clairement à l’encontre du respect de la vie privée. Prenons par exemple
l’accord que le National Health Service britannique a conclu avec DeepMind,
filiale de Google, pour partager les données d’1,6 million de patients. Au
Royaume-Uni, le NHS est une institution révérée, à laquelle on se fie pour
fournir des soins de santé gratuits à tous, tout en préservant le secret médical.
Mais quand l’accord avec DeepMind a fait l’objet d’une enquête, on a
découvert que la firme violait les lois sur la protection des données en
n’informant pas suffisamment les patients74. Comme l’a fait remarquer la
commission d’enquête, «le prix de l’innovation ne doit pas être nécessairement
l’érosion des droits fondamentaux à la vie privée75».
Pourtant, d’autres questions reçoivent bien moins d’attention. Les pratiques
d’extraction des données et de construction d’ensembles d’entraînement
reposent sur la conquête commercialisée de ce qui faisait auparavant partie des
biens communs. Cette forme particulière d’érosion est une privatisation
masquée, une extraction de valeur de connaissance pratiquée sur des biens
publics. Même si un ensemble de données reste publiquement accessible, la
méta-valeur des données – le modèle qu’elles créent – est entre des mains
privées. Certes, on peut faire beaucoup de bonnes choses avec des données
publiques. Mais sur un plan social comme sur un plan technique, on peut
s’attendre à ce que la valeur des données partagées par le biais d’institutions
publiques et d’espaces publics revienne au public sous d’autres formes de biens
communs. Au lieu de quoi, une poignée d’entreprises privées détiennent à
présent un immense pouvoir lorsqu’il s’agit d’extraire de ces sources des
connaissances et des profits. La nouvelle ruée vers l’or de l’IA consiste à
clôturer différents champs du savoir humain, du sentiment et de l’action –tous
les types de données disponibles –, le tout étant pris dans une logique
expansionniste de collecte sans fin. C’est devenu un pillage de l’espace public.
Fondamentalement, les pratiques d’accumulation de données sur de
nombreuses années contribuent à une puissante logique d’extraction, logique
qui est aujourd’hui au cœur du fonctionnement du domaine de l’IA. Cette
logique enrichit les entreprises tech en lui fournissant le plus vaste
approvisionnement possible, tandis que les espaces échappant à la collecte des
données se réduisent comme peau de chagrin. Comme le prévoyait Vannevar
Bush, les machines ont un appétit énorme. Mais comment et pourquoi on les
nourrit, voilà qui a un impact énorme sur leur manière d’interpréter le monde;
les priorités de leurs maîtres façonneront toujours la manière dont cette vision
est monétisée. En examinant les couches de données d’entraînement qui
forgent et informent les modèles et les algorithmes de l’IA, on voit que réunir
et étiqueter des données sur le monde est une intervention sociale et politique,
même si elle est déguisée en opération purement technique.
La façon dont les données sont comprises, saisies, classées et nommées est
fondamentalement un acte de création et d’appropriation du monde. Elle a
d’immenses conséquences sur la manière dont l’intelligence artificielle
fonctionne dans le monde et détermine quelles communautés sont les plus
affectées. Le mythe de la collecte de données comme pratique bienveillante en
informatique dissimule le déploiement de son pouvoir, protège ceux qui en
profitent le plus et les soustrait à toute responsabilité quant à ses effets négatifs.
1 National Institute of Standards and Technology (NIST), « Special
Database32–Multiple Encounter Dataset (MEDS)».
2Russell,
Open Standards and the Digital Age
.
3 À la fin des années 1960, les chercheurs du NIST (qui s’appelait alors
National Bureau of Standards, NBS) ont commencé à travailler à la
première version de l’Automated Fingerprint Identification System du FBI.
Voir Garris et Wilson, «NIST Biometrics Evaluations and Developments»,
p.1.
4
Ibid
.
5
Ibid
., p.12.
6 Sekula, « Le corps et l’archive »,
Écrits sur la photographie : 1974-1986
,
p.242.
7
Ibid
., p.243-244.
8
Ibid
., p.242.
9Voir, par exemple, Grother
et al
., «The2017IARPA Face Recognition Prize
Challenge (FRPC)».
10Voir, par exemple, Ever AI, «Ever AI Leads All US Companies».
11Founds
et al
., «NIST Special Database32».
12 Curry
et al
., « NIST Special Database 32 Multiple Encounter Dataset I
(MEDS-I)», p.8.
13 Voir, par exemple, Jaton, « We Get the Algorithms of Our Ground
Truths».
14Nilsson,
The Quest for Artificial Intelligence
, p.398.
15 ImageNet, « ImageNet Large Scale Visual Recognition Competition
(ILSVRC)».
16À la fin des années1970, Ryszard Michalski a écrit un algorithme fondé sur
des variables symboliques et des règles logiques. Ce langage était à la mode
dans les années 1980 et 1990, mais à mesure que les règles de prise de
décision et de qualification sont devenues plus complexes, il est devenu
moins utilisable. Au même moment, le potentiel d’utilisation de grands
ensembles d’entraînement fit abandonner ce
clustering
conceptuel au profit
de l’approche actuelle de l’apprentissage automatique. Michalski, «Pattern
Recognition as Rule-Guided Inductive Inference».
17Bush, «As We May Think».
18Light, «When Computers Were Women»; Hicks,
Programmed Inequality
.
19Tel que décrit dans Russell et Norvig,
Intelligence artificielle
, ch. 14.
20Li, «Divination Engines», p.143.
21
Ibid
., p.144.
22Brown et Mercer, «Oh, Yes, Everything’s Right on Schedule, Fred».
23Lem, «Croisade no1bis ou l’électrouvère de Trurl»,
Les Sept Croisades de
Trurl et Crapaucius
, p.60.
24
Ibid
., p.61.
25Brown et Mercer, «Oh, Yes, Everything’s Right on Schedule, Fred».
26Marcus, Marcinkiewicz et Santorini, «Building a Large Annotated Corpus
of English».
27Klimt et Yang, «The Enron Corpus».
28 Wood, Massey et Brownell, « FERC Order Directing Release of
Information», p.12.
29Heller, «What the Enron Emails Say about Us».
30 Baker
et al
., « Research Developments and Directions in Speech
Recognition».
31J’ai participé aux premiers travaux cherchant à combler cette lacune. Voir,
par exemple, Gebru
et al
., «Datasheets for Datasets». D’autres chercheurs
ont également tenté de résoudre ce problème pour les modèles d’IA: voir
Mitchell
et al
., «Model Cards for Model Reporting»; Raji et Buolamwini,
«Actionable Auditing».
32Phillips, Rauss et Der, «FERET (Face Recognition Technology) Recognition
Algorithm Development and Test Results», p.9.
33
Ibid
., p.61.
34
Ibid
., p.12.
35Voir Aslam, «Facebook by the Numbers (2019)»; Twitter for Business,
«Advertising on Twitter».
36 Fei-Fei Li, citée dans Gershgorn, « The Data That Transformed AI
Research».
37Deng
et al
., «ImageNet».
38Gershgorn, «The Data That Transformed AI Research».
39
Ibid
.
40Markoff, «Seeking a Better Way to Find Web Images».
41Hernandez, «CU Colorado Springs Students Secretly Photographed».
42 Zhang
et al
., « Multi-Target, Multi-Camera Tracking by Hierarchical
Clustering».
43Satisky, «Duke Study Recorded Thousands of Students’ Faces».
44Harvey et LaPlace, «Brainwash Dataset».
45Locker, «Microsoft, Duke, and Stanford Quietly Delete Databases».
46Murgia et Harlow, «Who’s Using Your Face?». Quand le
Financial Times
a
révélé le contenu de cet ensemble de données, Microsoft le retira d’Internet,
et un porte-parole de l’entreprise déclara tout simplement qu’il avait été
retiré « parce que le défi de la recherche avait été relevé ». Locker,
«Microsoft, Duke, and Stanford Quietly Delete Databases».
47Franceschi-Bicchierai, «Redditor Cracks Anonymous Data Trove».
48Tockar, «Riding with the Stars».
49Crawford et Schultz, «Big Data and Due Process».
50Franceschi-Bicchierai, «Redditor Cracks Anonymous Data Trove».
51Nilsson,
The Quest for Artificial Intelligence
, p.495.
52Et, comme nous le rappelle Geoff Bowker, «les données brutes sont à la fois
un oxymore et une mauvaise idée; au contraire, les données devraient être
affinées avec soin». Bowker,
Memory Practices in the Sciences
, p.184-185.
53Fourcade et Healy, «Seeing Like a Market», p.13(c’est moi qui souligne).
54Meyer et Jepperson, «The “Actors” of Modern Society».
55Gitelman, «“Raw Data” Is an Oxymoron», p.3.
56 De nombreux chercheurs ont étudié de près l’effet de ces métaphores.
Cornelius Puschmann et Jean Burgess, professeurs en étude des médias, ont
analysé les métaphores courantes sur les données et ont repéré deux grandes
catégories : les données « comme force naturelle à contrôler et comme
ressources à consommer ». Puschmann et Burgess, « Big Data, Big
Questions», résumé. Les chercheurs Tim Hwang et Karen Levy pensent que
décrire les données comme «le nouveau pétrole» sous-entend qu’elles sont
coûteuses à acquérir mais aussi qu’elles peuvent être «très lucratives pour
ceux qui ont les moyens de les extraire». Hwang et Levy, «“The Cloud” and
Other Dangerous Metaphors».
57Stark et Hoffmann, «Data Is the New What?».
58 Spécialistes des médias, Nick Couldry et Ulises Mejías parlent de
« colonialisme des données », qui est à la fois imprégné des pratiques
historiques prédatrices du colonialisme, associé aux méthodes numériques
contemporaines (et masqué par elles) . Cependant, comme l’ont montré
d’autres chercheurs, cette terminologie est à double tranchant car elle
occulte les préjudices réels et durables du colonialisme. Couldry et Mejías,
« Data Colonialism » et
The Costs of Connection
; Segura et Waisbord,
«Between Data Capitalism and Data Citizenship».
59 Ils appellent cette forme de capital «
ubercapital
». Fourcade et Healy,
«Seeing Like a Market», p.19.
60Sadowski, «When Data Is Capital», p.8.
61
Ibid
., p.9.
62Je m’inspire ici d’une histoire de l’examen des sujets humains et des données
à grande échelle que j’ai cosignée avec Jake Metcalf. Voir Metcalf et
Crawford, «Where Are Human Subjects in Big Data Research?».
63
Federal Register
, «Federal Policy for the Protection of Human Subjects».
64 Voir Metcalf et Crawford, « Where Are Human Subjects in Big Data
Research?».
65Seo
et al
., «Partially Generative Neural Networks». Jeffrey Brantingham,
l’un des auteurs, est aussi cofondateur de PredPol, une entreprise
controversée de police prédictive. Voir Winston et Burrington, «A Pioneer
in Predictive Policing».
66California State Auditor, «CalGang Criminal Intelligence System».
67Libby, «Scathing Audit Bolsters Critics’ Fears».
68Hutson, «Artificial Intelligence Could Identify Gang Crimes».
69 Hoffmann, « Data Violence and How Bad Engineering Choices Can
Damage Society».
70Weizenbaum,
Puissance de l’ordinateur et raison de l’homme
, p.174.
71
Ibid
., p.180.
72
Ibid
.
73 Pour plus d’informations sur l’histoire de l’extraction des données et le
point de vue des communautés marginalisées, voir Costanza-Chock,
Design
Justice
; et D’Ignazio et Klein,
Data Feminism
.
74 Revell, « Google DeepMind’s NHS Data Deal “Failed to Comply” with
Law».
75 Information Commissioner’s Office, « Royal Free – Google DeepMind
Trial Failed to Comply».
4
La classification
Je suis entourée de crânes humains. Cette pièce en contient près de cinq cents,
collectés dans les premières décennies du XIXe siècle. Tous sont vernis, et un
numéro est inscrit à l’encre noire sur l’os frontal. Des cercles délicatement
calligraphiés indiquent les zones du crâne que la phrénologie associe à certaines
qualités, notamment «Bienveillance» et «Vénération». Certains portent une
description en capitales, avec des termes comme «Hollandais», «Péruvien de
la race inca» ou «Dément». Chacun avait été soigneusement pesé, mesuré et
étiqueté par le craniologue américain Samuel Morton. Morton était médecin,
spécialiste d’histoire naturelle, et membre de l’Académie des sciences naturelles
de Philadelphie. Il rassembla ces crânes humains venus du monde entier en
échangeant avec tout un réseau de scientifiques et de chasseurs de têtes qui lui
rapportaient des spécimens pour ses expériences, parfois en pillant des
tombes1. Lorsqu’il mourut en1851, Morton avait amassé plus d’un millier de
crânes, et sa collection était alors la plus importante au monde2. Une grande
partie de ses archives sont aujourd’hui conservées dans la section
Anthropologie physique du Penn Museum de Philadelphie.
Morton n’était pas un phrénologue classique, au sens où il ne croyait pas
qu’on puisse connaître la personnalité d’un être humain en examinant la forme
de sa tête. Son but était plutôt de classer et de hiérarchiser les races humaines
«objectivement», en comparant les caractéristiques physiques des crânes. Il les
divisait selon les cinq « races » du monde : éthiopienne, américaine,
caucasienne, malaise et mongoloïde, taxonomie typique de son époque et reflet
de la mentalité colonialiste qui dominait alors la géopolitique3. C’était le point
de vue du polygénisme, croyance selon laquelle des races humaines distinctes
avaient évolué séparément à différentes époques, théorie légitimée par les
savants blancs européens et américains et saluée par les explorateurs coloniaux
comme la justification des violences et spoliations racistes4. La craniométrie
devint l’une de leurs principales méthodes puisqu’elle prétendait évaluer avec
précision les différences et les mérites humains5.
Beaucoup des crânes que je vois appartiennent à des personnes nées en
Afrique mais mortes en esclavage dans les deux Amériques. Morton mesurait
ces crânes en en remplissant les cavités de grenaille de plomb, qu’il reversait
ensuite dans des cylindres pour en déterminer le volume en centimètres cubes6.
Il publiait ses résultats et les comparait aux crânes acquis ailleurs: par exemple,
il affirmait que les Blancs avaient les plus gros crânes, tandis que les Noirs se
situaient tout en bas de l’échelle. Les tableaux de Morton, indiquant la taille
moyenne du crâne selon la race, étaient en son temps considérés comme à la
pointe du progrès. Son travail fut cité jusqu’à la fin du siècle comme autant de
données objectives et factuelles qui prouvaient l’intelligence relative des races
humaines et la supériorité biologique de la race caucasienne. Aux États-Unis,
ces recherches furent instrumentalisées pour confirmer la légitimité de
l’esclavage et de la ségrégation raciale7. Considérées comme le dernier cri en
matière de science, elles servirent à autoriser l’oppression raciale bien après que
ces études eurent cessé d’être citées.
Mais les travaux de Morton ne constituaient nullement le genre de preuves
qu’elles prétendaient offrir. Comme l’écrit Stephen Jay Gould dans un livre qui
a fait date,
La Mal-Mesure de l’homme
:
En bref, et pour dire les choses carrément, les résumés de Morton sont un
ramassis d’astuces et de tripotages de chiffres dont le seul but est de
confirmer des convictions préalables. Cependant–et c’est là l’aspect le
plus étonnant de cette affaire–je n’y ai repéré aucune preuve évidente de
supercherie volontaire […]. La prédominance du trucage
inconscient
amène d’autre part une conclusion générale sur le contexte social dans
lequel s’élabore la science. Car si les savants peuvent en toute honnêteté
s’illusionner comme Morton le fit, c’est que l’on peut trouver des préjugés
partout, même dans les méthodes de mensuration des ossements et dans
les additions de chiffres8.
Gould, et bien d’autres après lui, ont repesé les crânes et réexaminé les
preuves de Morton9. Morton se trompait dans ses mesures et ses calculs, sans
parler d’omissions dans sa procédure, comme lorsqu’il négligeait le fait
fondamental que les gens plus grands ont un plus gros cerveau10. Il choisissait
de manière sélective les échantillons qui confirmaient sa croyance en la
suprématie blanche et éliminaient ceux qui déséquilibraient ses moyennes par
groupe. Les évaluations modernes des crânes du Penn Museum n’indiquent
aucune différence significative entre les personnes, même en utilisant les
données de Morton11. Mais des préjugés antérieurs – une façon de voir le
monde–avaient façonné ce que Morton prenait pour une science objective;
c’était une boucle de rétroaction qui influençait ses découvertes au même titre
que les crânes remplis de grenaille de plomb.
Comme le note Gould, la craniométrie tenait au XIXe siècle «le premier rang
des sciences numériques du déterminisme biologique » et reposait sur des
«erreurs grossières» quant à ses présupposés centraux: la taille du cerveau était
égale à l’intelligence, il existait des races humaines séparées qui étaient des
espèces biologiques distinctes, et ces races pouvaient être placées dans une
hiérarchie selon leur intellect et leur caractère inné12. En fin de compte, ce
genre de science raciale fut démystifié, mais comme l’affirme Cornel West, non
seulement ses métaphores dominantes, sa logique et ses catégories soutenaient
la suprématie blanche, mais elles favorisaient aussi certaines idées politiques sur
la race au détriment d’autres conceptions13.
L’héritage de Morton préfigure les problèmes épistémologiques liés à la
mesure et au classement en intelligence artificielle. Corréler la morphologie
crânienne avec l’intelligence et avec la revendication de certains droits, c’est
fournir un alibi technique au colonialisme et à l’esclavage14. S’il existe une
tendance à se focaliser sur les erreurs de la craniométrie et sur la façon de les
corriger, une erreur plus grossière encore sous-tend la vision du monde qui
animait cette méthodologie. L’objectif ne devrait donc pas être de viser une
mesure plus exacte ou plus «équitable» pour lutter contre les modèles racistes
de l’intelligence, mais de condamner entièrement cette approche. Les pratiques
de classification employées par Morton étaient
intrinsèquement
politiques, et
ses présupposés erronés sur l’intelligence, la race et la biologie eurent de
considérables effets sociaux et économiques.
La politique de classification est une pratique centrale en intelligence
artificielle. Elle influence la façon dont l’intelligence mécanique est reconnue et
produite, des labos universitaires jusqu’à l’industrie tech. Comme nous l’avons
vu au chapitre précédent, les objets manufacturés dans le monde sont
transformés en données par l’extraction, la mesure, l’étiquetage et le
classement, et cela devient – délibérément ou non – une « vérité terrain »
glissante pour les systèmes entraînés avec ces données. Quand il s’avère que les
systèmes d’IA produisent des résultats discriminants en matière d’ethnie, de
classe, de genre, de handicap ou d’âge, les entreprises sont soumises à une
pression considérable pour réformer leurs outils ou diversifier leurs données.
Mais le résultat est souvent une réaction étroite, qui se contente de remédier
aux erreurs techniques et aux préjugés pour que le système paraisse plus
équitable. Il manque souvent un questionnement plus fondamental: comment
la classification fonctionne-t-elle en apprentissage automatique? Qu’est-ce qui
est en jeu quand nous classons ? En quoi le classement interagit-il avec le
classé ? Quelles sont les théories sociales et politiques qui sous-tendent
tacitement ces classifications du monde?
Dans une étude qui fait autorité, Geoffrey Bowker et Susan Leigh Star
écrivent que « les classifications sont une haute technologie puissante.
Enchâssées dans des infrastructures de travail, elles deviennent relativement
invisibles, sans rien perdre de leur pouvoir15». La classification est un acte de
pouvoir, qu’il s’agisse d’étiqueter les images dans les ensembles d’entraînement
IA, de suivre des personnes grâce à la reconnaissance faciale, ou de remplir des
crânes de grenaille de plomb. Mais comme l’observent Bowker et Star, les
classifications peuvent disparaître «dans l’infrastructure, dans l’habitude, dans
ce qui va de soi16». Nous oublions aisément que les modes de classification
choisis pour façonner un système technique jouent un rôle dynamique en
façonnant aussi le monde matériel et social.
La tendance à se focaliser sur la question des biais en intelligence artificielle
nous détourne d’une évaluation des pratiques fondamentales de classification,
et de leurs aspects politiques. Pour voir tout cela en action, nous explorerons
dans ce chapitre quelques-uns des ensembles de données d’entraînement du
XXIe siècle et nous verrons comment leurs schémas d’ordonnancement social
naturalisent les hiérarchies et amplifient les inégalités. Nous examinerons aussi
les limites du débat sur les biais en IA, où la parité mathématique est souvent
proposée pour créer des « systèmes plus justes » au lieu de s’en prendre aux
structures sociales, politiques et économiques sous-jacentes. Bref, nous
envisagerons comment l’intelligence artificielle utilise la classification pour
encoder le pouvoir.
LES SYSTÈMES DE LOGIQUE CIRCULAIRE
Il y a dix ans, l’idée que l’intelligence artificielle puisse connaître un problème
de biais était peu orthodoxe. Aujourd’hui, les exemples de systèmes d’IA
discriminatoires sont légion, depuis les algorithmes de solvabilité selon le genre
d’Apple jusqu’au racisme du logiciel COMPAS pour l’évaluation du risque
criminel, en passant par le jeunisme du ciblage publicitaire de Facebook17. Les
outils de reconnaissance d’images se trompent de catégories avec des visages
noirs, les chatbots adoptent un langage raciste et misogyne, les logiciels de
reconnaissance vocale sont incapables de reconnaître les voix féminines, et les
plateformes de médias sociaux affichent plus d’offres d’emplois mieux payés
pour les hommes que pour les femmes18. Comme l’ont montré des chercheurs
tels que Ruha Benjamin et Safiya Noble, il existe des centaines d’exemples dans
tout l’écosystème tech19. Beacoup d’autres encore n’ont jamais été détectés ou
publiquement reconnus.
Chaque épisode dans l’histoire des biais de l’IA commence en général
lorsqu’un journaliste d’investigation ou un lanceur d’alerte révèle qu’un
système produit des résultats discriminatoires. L’affaire fait scandale, et
l’entreprise concernée promet de régler le problème. Soit le système est
remplacé par une nouveauté, soit une intervention technique tente d’aboutir à
des résultats offrant une meilleure parité. Ces solutions restent propres à
l’entreprise, secrètes, et on garantit au public que la maladie du biais est
«guérie20». Il est bien plus rare que le débat public se demande
pourquoi
ces
formes de biais et de discrimination reviennent fréquemment, et si cela relève
de problèmes plus fondamentaux qu’un ensemble de données inadéquat ou un
algorithme mal conçu.
L’un des exemples les plus frappants de biais à l’œuvre émane d’une source
interne d’Amazon. En 2014, l’entreprise a décidé, à titre expérimental,
d’automatiser le processus de recommandation et d’embauche de ses employés.
Puisque l’automatisation fonctionnait pour améliorer les profits en
recommandation de produits et en organisation des entrepôts, elle devait aussi
pouvoir rendre l’embauche plus efficace. Selon un ingénieur, « ils voulaient
littéralement une machine à qui on fournirait cent CV et qui recrachait les
cinq meilleurs, qu’on embaucherait21 ». Le système d’apprentissage
automatique a été conçu pour classer les individus sur une échelle de1à5, à
l’image du système d’évaluation des produits chez Amazon. Pour construire le
modèle sous-jacent, les ingénieurs utilisèrent un ensemble de données
comprenant dix ans de CV d’employés, puis entraînèrent un modèle statistique
avec 50 000 termes qui figuraient dedans. Très vite, le système s’est mis à
attribuer moins d’importance aux termes techniques couramment utilisés,
comme les langages de programmation, parce que tout le monde les énumérait
dans son CV. Les modèles se mirent à valoriser des indices plus subtils qui
revenaient dans les candidatures retenues. Une préférence marquée ressortit
pour certains verbes. Les exemples mentionnés par les ingénieurs étaient
«exécuté» et «capturé22».
Les recruteurs commencèrent à utiliser le système en complément de leurs
pratiques habituelles23. Bientôt, un sérieux problème apparut: le système ne
recommandait aucune femme. Il déclassait activement les CV des candidates
issues d’universités pour femmes, ainsi que tous les CV incluant le mot
«femme». Même après avoir modifié le système pour supprimer l’influence de
références explicites au genre, le biais persistait. L’hégémonie masculine
continuait à se manifester à travers l’usage genré du langage. Le modèle avait
un biais contre les femmes, non seulement en tant que catégorie, mais aussi
contre les formes de discours ordinairement genrées.
À son insu, Amazon avait créé un outil de diagnostic. Comme la grande
majorité des ingénieurs embauchés chez Amazon ces dix dernières années
étaient des hommes, les modèles qu’ils créaient, entraînés à partir des CV
d’hommes, avaient appris à recommander l’embauche d’autres hommes. Les
pratiques en matière d’emploi passées et présentes façonnaient les outils
d’embauche de l’avenir. De manière inattendue, le système d’Amazon révélait
que des biais existaient déjà, liés à la façon dont la masculinité est encodée dans
le langage, dans les CV et dans l’entreprise elle-même. L’outil intensifiait la
dynamique déjà en place et soulignait le manque de diversité chez Amazon
aujourd’hui comme hier24.
En fin de compte, Amazon renonça à cette expérience d’embauche. Mais
l’ampleur du problème des biais dépasse un seul et même système ou une
approche ratée. Le secteur de l’IA voit traditionnellement les biais comme un
bug à corriger et non comme une caractéristique de la classification. Par
conséquent, il s’efforce surtout d’ajuster les systèmes techniques pour obtenir
une meilleure parité quantitative à travers des groupes disparates, ce qui crée à
son tour d’autres problèmes, comme nous le verrons.
Pour comprendre le lien entre biais et classification, il faut aller au-delà
d’une analyse de la production du savoir –comme déterminer si un ensemble
de données est biaisé ou non – et regarder plutôt les mécanismes de la
construction du savoir, ce que la sociologue Karin Knorr Cetina appelle
« machinerie épistémique25 ». Ce qui nécessite d’observer comment les
différentes formes historiques d’inégalité façonnent l’accès aux ressources et aux
possibilités, qui à leur tour façonnent les données. Ces données sont alors
extraites en vue de leur utilisation dans des systèmes techniques de
classification et de reconnaissance, dont les résultats sont perçus comme
objectifs. On aboutit ainsi à un
ouroboros
statistique, une machine à
discrimination qui se renforce elle-même, en amplifiant les inégalités sociales
sous couvert de neutralité technique.
LES LIMITES DES SYSTÈMES DÉBIAISANTS
Pour mieux comprendre les limites de l’analyse des biais en IA, jetons un coup
d’œil aux tentatives d’y remédier. En 2019, IBM a tenté de répondre aux
inquiétudes concernant les biais de ses systèmes en créant ce que l’entreprise
présentait comme un ensemble de données plus «inclusif», Diversity in Faces
(DiF)26. DiF s’inscrivait dans le cadre d’une réaction au travail pionnier, publié
l’année précédente par les chercheuses Joy Buolamwini et Timnit Gebru, qui
démontrait que plusieurs systèmes de reconnaissance faciale – dont ceux
d’IBM, de Microsoft et d’Amazon–avaient un taux d’erreur bien plus élevé
pour les personnes à la peau plus sombre, en particulier les femmes27. Les trois
entreprises ont donc multiplié leurs efforts pour montrer qu’elles cherchaient à
corriger le problème.
« Nous souhaitons que la reconnaissance faciale fonctionne correctement
pour chacun de nous», écrivaient les chercheurs d’IBM, mais le seul moyen de
résoudre «le défi de la diversité» serait de construire «un ensemble de données
incluant tous les visages existant dans le monde28». Ils décidèrent de s’appuyer
sur un ensemble préexistant de cent millions d’images prises sur Flickr, la plus
grande collection publique accessible sur Internet29. Ils utilisèrent ensuite un
million de photos comme échantillon réduit et mesurèrent les distances cranio-
faciales entre les points de repère de chaque visage : yeux, largeur du nez,
hauteur des lèvres, du front, etc. Comme Morton mesurant les crânes, les
chercheurs d’IBM voulaient créer des catégories de différence à partir de
mesures crâniennes.
L’équipe d’IBM affirmait que son but était d’accroître la diversité des
données de reconnaissance faciale. Malgré ses bonnes intentions, elle recourait
à des classifications qui révélaient le sens politique que prend la diversité dans
ce contexte. Par exemple, pour étiqueter le genre et l’âge d’un visage, l’équipe
chargeait des
crowdworkers
d’apporter des annotations subjectives, en utilisant
le modèle restrictif de la binarité du genre. Quiconque semblait sortir du cadre
binaire était écarté de l’ensemble de données. La vision de la diversité d’IBM
mettait l’accent sur la gamme possible de mesures de l’orbite crânienne et de
l’arête du nez, mais négligeait l’existence de personnes transgenres ou non
binaires. L’équité était réduite à un taux d’exactitude plus élevé pour la
reconnaissance faciale automatique, et la diversité renvoyait à un plus large
éventail de visages pour entraîner le modèle. L’analyse craniométrique
fonctionne comme un leurre, en dépolitisant l’idée de diversité et en la
remplaçant par une focalisation sur la
variation
. Les concepteurs décident
quelles sont les variables et comment les gens sont répartis dans les catégories.
Là encore, la pratique de la classification est un pouvoir centralisateur : le
pouvoir de décider quelles différences font la différence.
Les chercheurs d’IBM poursuivent avec une conclusion encore plus
problématique : « Les aspects de notre héritage – dont la race, l’origine
ethnique, la culture, la géographie– et notre identité individuelle – l’âge, le
genre et les formes visibles d’expression de soi – se reflètent dans nos
visages30.» Cette affirmation va à l’encontre de décennies de recherches d’après
lesquelles la race, le genre et l’identité ne sont pas des catégories biologiques,
mais des constructions politiques, culturelles et sociales31. Intégrer des
revendications identitaires dans des systèmes techniques, comme s’il s’agissait
de faits observables sur un visage, est un exemple de ce que Simone Browne
appelle « épidermalisation numérique », qui impose une race à un corps.
Browne définit ce phénomène comme l’exercice d’un pouvoir quand le regard
désincarné des technologies de surveillance « se charge d’aliéner le sujet en
produisant une “vérité” sur le corps et l’identité (ou les identités) d’une
personne malgré ce qu’elle affirme32».
Les problèmes fondamentaux de l’approche d’IBM pour classer la diversité
résultent de ce genre de production centralisée d’identité, guidée par les
techniques d’apprentissage automatique auxquelles l’équipe avait accès. La
détection de la couleur de la peau a lieu parce qu’elle peut avoir lieu, non parce
qu’elle renseigne sur la race ou produit une compréhension culturelle plus
profonde. De même, le recours aux mesures crâniennes est pratiqué parce que
c’est une méthode qui
peut
être pratiquée avec l’apprentissage automatique. Les
possibilités offertes par les outils deviennent l’horizon de vérité. La capacité à
déployer les mesures crâniennes et l’épidermalisation numérique à grande
échelle induit un désir de trouver du sens dans ces approches, même si la
méthode n’a rien à voir avec la culture, l’héritage ou la diversité. On les utilise
pour élargir une conception problématique de la précision. Les prétentions
techniques à la précision et à la performance sont en général imprégnées de
choix politiques sur les catégories et les normes mais sont rarement reconnues
comme telles33. Ces approches s’enracinent dans une prémisse idéologique
selon laquelle la biologie est une fatalité, où notre visage devient notre destin.
LES NOMBREUSES DÉFINITIONS DU BIAIS
Depuis l’Antiquité, l’acte de classification s’aligne sur le pouvoir. En théologie,
la faculté de nommer et de diviser les choses était un acte divin. Le mot
« catégorie » vient du grec ancien
kat
ē
goriā
, formé de deux racines :
kata
(contre) et
agoreuo
(parler en public). En grec, le mot désigne soit une
affirmation logique, soit une accusation lors d’un procès –renvoyant aussi bien
aux méthodes scientifiques que juridiques de catégorisation.
«Biais» est un terme beaucoup plus récent. Il apparaît au XIVe siècle, en
géométrie, pour désigner une oblique ou une diagonale. Au XVIe siècle, il a
acquis une part de son sens actuel de préjugé. Dans les années1900, «biais»
prend un sens plus technique en statistique et fait référence aux différences
systématiques entre un échantillon et une population, quand l’échantillon n’est
pas vraiment représentatif de l’ensemble34. C’est de cette tradition statistique
que le domaine de l’apprentissage automatique tire sa conception du biais, où
il est lié à d’autres concepts: généralisation, classification, variance.
Les systèmes d’apprentissage automatique sont conçus pour généraliser à
partir d’un important ensemble d’exemples d’entraînement, et pour classer
correctement de nouvelles observations ne figurant pas dans l’ensemble de
données d’entraînement35. Autrement dit, les systèmes d’apprentissage
automatique sont capables d’un certain type d’induction, en apprenant à partir
d’exemples spécifiques (comme les CV d’anciens candidats à l’embauche) afin
de décider quels points de données rechercher dans de nouveaux exemples
(comme des groupes de mots dans les CV de nouveaux candidats). En pareil
cas, le « biais » renvoie à un type d’erreur qui peut se produire pendant le
processus prédictif de généralisation – à savoir une erreur de classification
systématique ou régulièrement reproduite que présente le système lorsqu’il est
confronté à de nouveaux exemples. Ce type de biais est souvent opposé à un
autre type d’erreur lié à la généralisation, la variance, qui désigne la sensibilité
d’un algorithme aux différences dans les données d’entraînement. Un modèle
ayant un biais élevé et une variance faible risque le sous-apprentissage
(
underfitting
) car il ne saisira pas toutes les caractéristiques significatives des
données. À l’inverse, un modèle ayant une variance élevée et un biais faible
risque le sur-apprentissage (
overfitting
), en construisant un modèle trop proche
des données d’entraînement, qui capture potentiellement du «bruit» en plus
des caractéristiques importantes36.
En dehors de l’apprentissage automatique, le «biais» a beaucoup d’autres
sens. Dans le langage juridique, il renvoie à une opinion ou notion préconçue,
un jugement fondé sur des préjugés, par opposition à une décision résultant de
l’évaluation impartiale des éléments du dossier37. En psychologie, Amos
Tversky et Daniel Kahneman étudient les « biais cognitifs », c’est-à-dire la
manière dont les jugements humains s’écartent systématiquement des attentes
probabilistes38. Des recherches plus récentes sur les biais implicites soulignent
en quoi les stéréotypes et les attitudes inconscientes « génèrent des
comportements qui divergent des convictions ou principes déclarés ou
soutenus par une personne39 ». Ici, le biais n’est pas simplement un type
d’erreur technique ; il inclut les croyances humaines, les stéréotypes et les
formes de discrimination. Ces distinctions limitent l’utilité du terme «biais»,
surtout lorsqu’il est utilisé par des spécialistes de disciplines différentes.
Les conceptions techniques peuvent certainement être améliorées afin de
mieux prendre en compte la façon dont les systèmes produisent des résultats
biaisés et discriminatoires. Mais pourquoi les systèmes d’IA perpétuent-ils
certaines formes d’inégalité? Cette question plus ardue est généralement éludée
dans la précipitation qui pousse à trouver des solutions techniques restreintes
face au biais statistique, comme si c’était un remède suffisant à des problèmes
structurels plus graves. De manière générale, on n’a pas réussi à s’occuper de la
façon dont les instruments de connaissance en IA reflètent et favorisent les
incitations d’une économie extractive très large. Ce qui subsiste, c’est une
asymétrie de pouvoir où les systèmes techniques entretiennent et élargissent
l’inégalité structurelle, indépendamment des intentions de leurs concepteurs.
Tout ensemble de données utilisé pour entraîner des systèmes
d’apprentissage automatique, que cet apprentissage soit supervisé ou non, qu’il
soit considéré comme techniquement biaisé ou non, contient une vision du
monde. Créer un ensemble d’entraînement, c’est prendre un monde
infiniment complexe et varié, ou presque, et le faire entrer dans des taxonomies
composées de classifications discrètes de points de données individuels,
processus qui nécessite des choix intrinsèquement politiques, culturels et
sociaux. En prêtant attention à ces classifications, nous pouvons entrevoir les
diverses formes de pouvoir qui sont intégrées dans les architectures du monde
construit par l’IA.
LES ENSEMBLES D’ENTRAÎNEMENT COMME MOTEURS DE CLASSIFICATION: LE CAS
D’IMAGENET
Au chapitre précédent, nous nous sommes penchés sur l’histoire d’ImageNet et
la façon dont le banc d’essai a influencé la recherche en vision par ordinateur
depuis sa création en 2009. En regardant de plus près la structure d’ImageNet,
nous voyons comment l’ensemble de données est ordonné, et nous découvrons
sa logique sous-jacente pour cartographier le monde des objets. La structure
d’ImageNet est vaste, labyrinthique et pleine de curiosités. La structure
sémantique qui sous-tend ImageNet a été importée de WordNet, une base de
données lexicale dévelopée en 1985 au laboratoire de science cognitive de
Princeton et financée par l’Office of Naval Research40. WordNet a été conçu
comme un dictionnaire lisible par une machine, où les recherches s’effectuaient
sur la base d’une ressemblance sémantique plutôt qu’alphabétique. C’est
devenu une source indispensable en linguistique informatique et en traitement
du langage naturel. L’équipe de WordNet a rassemblé autant de mots que
possible, en commençant par le Brown Corpus, une collection d’un million de
mots compilés dans les années 196041. Les mots du Brown Corpus provenaient
des journaux et de livres hétéroclites incluant des titres comme
Nouvelles
Méthodes de parapsychologie
,
L’Abri anti-nucléaire familial
ou
Qui gouverne le lit
conjugal?
42.
WordNet tente d’organiser toute la langue anglaise par ensembles de
synonymes ou
synsets
. Les chercheurs d’ImageNet n’ont sélectionné que des
substantifs, estimant qu’ils renvoient à des choses qu’une image peut
représenter, et que cela suffirait pour entraîner des machines à reconnaître
automatiquement des objets. La taxonomie d’ImageNet est donc organisée
selon une hiérarchie dérivée de WordNet, où chaque
synset
représente un
concept distinct, les synonymes étant regroupés (par exemple, « auto » et
«voiture» sont traités comme appartenant au même ensemble). La hiérarchie
va des concepts les plus généraux aux concepts les plus spécifiques. Par
exemple, le concept « chaise » arrive au bout de la chaîne des objets
manufacturés → mobilier → meuble → siège → chaise. Ce système de
classification rappelle sans surprise de nombreuses taxonomies antérieures, du
système biologique de Linné au classement des livres dans une bibliothèque.
Mais la véritable étrangeté de la vision du monde d’ImageNet apparaît déjà
dans ses neuf catégories de premier niveau tirées de WordNet : plante,
formation géologique, objet naturel, sport, objet manufacturé, champignon,
personne, animal et divers. Ce sont des catégories curieuses dans lesquelles tout
le reste doit être ordonné. En dessous, elles se subdivisent en milliers de classes
étranges et spécifiques qui s’emboîtent et abritent des millions d’images comme
autant de poupées russes. Il y a des catégories pour les beignets aux pommes, le
beurre de pomme, les chaussons aux pommes, les chariots de pommes, la
compote de pommes, la gelée de pommes, les géraniums pomme, le jus de
pommes, les pommes, les pommiers, les vers à pomme. Il y a des images de
boules de billard, de boules de cristal, de boules de feu, de boules de glace, de
boules de neige, de boules de Noël, de boules de pétanque… C’est un pêle-
mêle de mots, classés par catégories étranges comme celles de l’encyclopédie
mythique de Jorge Luis Borges43. Au niveau des images, c’est de la folie. Il y a
des photos en haute résolution, des photos floues et mal éclairées. Il y a des
portraits d’enfants, des images pornographiques, des vignettes de bande
dessinée. Il y a des pin-ups, des icônes religieuses, des personnalités du monde
politique, des vedettes d’Hollywood et des comiques italiens. Tout est mélangé,
le profane et le sacré, le professionnel et l’amateur.
C’est dans les classements humains qu’on voit le mieux la politique de
classification à l’œuvre. Dans ImageNet, la catégorie « corps humain » se
trouve sous la branche Objet naturel → Corps → Corps humain. Ses sous-
catégories incluent «corps masculin», «personne», «corps juvénile», «corps
adulte» et «corps féminin». La catégorie «corps adulte» contient les sous-
classes « corps féminin adulte » et « corps masculin adulte ». La conjecture
implicite, c’est que seuls les corps «masculins» et «féminins» sont reconnus
comme «naturels». Il existe une catégorie «Hermaphrodite» dans ImageNet,
mais elle se situe dans la branche Personne → Sensualiste → Bisexuel, aux côtés
des catégories «Pseudo-hermaphrodite» et «À voile et à vapeur44».
Avant même d’examiner les catégories les plus controversées d’ImageNet, on
distingue les enjeux politiques de ce système de classification. Ces décisions de
classification naturalisent le genre comme une construction biologique binaire,
et les personnes transgenres ou non binaires sont soit inexistantes, soit placées
dans les catégories de la sexualité45. Bien sûr, cette approche n’est pas nouvelle.
La hiérarchie de classification du genre et de la sexualité dans ImageNet
rappelle des formes antérieures de catégorisation nocive, comme la
classification de l’homosexualité parmi les troubles mentaux dans le
Manuel
diagnostique et statistique
46. On s’est servi de cette catégorisation profondément
néfaste pour justifier de soi-disant thérapies, toutes répressives, et il fallut des
années de militantisme pour que l’American Psychiatric Association finisse par
la supprimer en197347.
Réduire les humains à des catégories de genre binaire, rendre les personnes
transgenres invisibles ou «déviantes», voilà des caractéristiques communes des
schémas de classification en apprentissage automatique. Dans son étude sur la
détection automatique du genre en reconnaissance faciale, Os Keyes montre
que près de95% des articles dans ce domaine traitent le genre de manière
binaire, la majorité le décrivant comme immuable et physiologique48.
D’aucuns pourraient répondre qu’il est facile d’y remédier en créant davantage
de catégories, mais ce serait passer à côté du préjudice plus grave que représente
la classification de personnes dans des catégories de genre ou de race sans leur
apport ou consentement. Cette pratique ne date pas d’hier. Depuis des siècles,
les systèmes administratifs cherchent à rendre les humains lisibles en leur
collant des étiquettes et des propriétés définies. Le travail d’essentialisation et
d’ordonnancement sur la base de la biologie ou de la culture sert depuis
longtemps à justifier les formes de violence et d’oppression.
Ces logiques de classification sont traitées comme si elles étaient naturelles et
fixes, mais ce sont des cibles mouvantes : non seulement elles affectent les
personnes ainsi classées, mais leur impact modifie à son tour les classifications
elles-mêmes. Hacking parle de
looping effect
, un effet de boucle qui se produit
quand les sciences se mettent à «fabriquer des personnes49». Bowker et Star
remarquent aussi qu’une fois construites, les classifications de personnes
peuvent stabiliser une catégorie politique contestée de manière difficilement
perceptible50. Elles semblent finalement aller de soi, à moins qu’on leur résiste
résolument. On constate ce phénomène en IA quand des infrastructures et des
ensembles de données d’entraînement très influents passent pour être
purement techniques, alors qu’ils contiennent en réalité des interventions
politiques dans leurs taxonomies mêmes: ils naturalisent un ordonnancement
particulier du monde, dont les effets sont perçus comme justifiant
l’ordonnancement initial.
LE POUVOIR DE DÉFINIR LA «PERSONNE»
Imposer un ordre à une masse indifférenciée, ranger des phénomènes dans une
catégorie–c’est-à-dire nommer une chose–, c’est aussi un moyen de réifier
l’existence de cette catégorie.
Dans le cas des21841catégories qui figuraient à l’origine dans la hiérarchie
d’ImageNet, des classes nominales comme « pomme » ou « compote de
pommes » semblent plutôt peu propices à la controverse, mais tous les
substantifs ne sont pas égaux. Pour reprendre une idée du linguiste George
Lakoff, le concept de «pomme» est un substantif plus
substantif
que le concept
de « lumière », qui est lui-même plus
substantif
qu’un concept tel que la
« santé51 ». Les substantifs occupent diverses places sur un axe qui va du
concret à l’abstrait, du descriptif au subjectif. Ces degrés ont été supprimés
dans la logique d’ImageNet. Tout est aplati et associé à une étiquette, comme
des papillons épinglés dans la boîte d’un entomologiste. Bien qu’elle ait
l’apparence de l’objectivité, cette approche n’en est pas moins un exercice
profondément idéologique.
Pendant dix ans, ImageNet a contenu 2 832 sous-catégories relatives à la
catégorie «Personne». La sous-catégorie comptant le plus d’images associées
était «fille» (1664 images), suivie par «grand-père» (1662), «papa» (1643)
et PDG (1 614, dont une majorité d’hommes). Avec ces catégories bien
fournies, nous commençons à distinguer les contours d’une vision du monde.
ImageNet contient une profusion de catégories de classification, notamment
pour la race, l’âge, la nationalité, la profession, le statut économique, le
comportement, le caractère et même la moralité.
La taxonomie d’ImageNet qui prétend classer les photos d’individus selon la
logique de la reconnaissance d’objets pose de nombreux problèmes. Même si
ses créateurs ont supprimé certains
synsets
explicitement offensants en2009, il
subsiste des catégories pour les identités raciales et nationales, dont Américain
d’origine hispanique, Anglo-Américain, Autochtones d’Alaska, Blanc, Femme
noire (mais pas Femme blanche), Indien d’Amérique du Sud, Latino-
Américain, Mexicano-Américain, Nicaraguayen, Noir, Noir Africain, Ouzbek,
Pakistanais, Texan, et Zoulou. Les présenter comme des catégories logiques de
classement des personnes est déjà troublant, avant même qu’elles ne soient
utilisées pour les classer en fonction de leur apparence. D’autres individus sont
étiquetés selon leur métier ou leur loisir: il y a des scouts, des pom-pom girls,
des neuroscientifiques, des coiffeurs, des analystes du renseignement, des
mythologues, des commerçants, des retraités, etc. L’existence de ces catégories
suggère qu’il est possible d’ordonner les personnes visuellement en fonction de
leur profession, d’une manière qui rappelle des livres pour enfants comme le
mémorable
Que font les gens toute la journée
? de Richard Scarry. ImageNet
contient aussi des catégories qui n’ont absolument aucun sens pour la
classification des images, comme Débiteur, Patron, Proche, Frère ou
Daltonien. Ce sont tous des concepts non visuels qui décrivent un rapport ou
une relation, que ce soit avec quelqu’un d’autre, un système financier ou le
champ visuel lui-même. L’ensemble de données réifie ces catégories et les relie
aux images, afin que des images similaires puissent être «reconnues» par de
futurs systèmes.
De nombreuses catégories réellement offensantes et dangereuses sont restées
cachées dans les profondeurs de la catégorie Personne d’ImageNet. Certaines
classifications étaient misogynes, racistes, jeunistes et discriminatoires envers le
handicap. La liste inclut Bagnard, Bon-à-Rien, Borgne, Call-Girl, Chochotte,
Débile, Dévergondé, Dingue, Drogué, Emmerdeur, Étalon, Être insignifiant,
Garce, Glandeur, Homosexuel refoulé, Hypocrite, Kleptomane, Loser,
Méchant, Mélancolique, Minable, Pervers, Prima Donna, Pute, Raté,
Schizophrène, Velléitaire, Vieille Fille et Vieux Fou. Les insultes, les injures
raciales et les jugements moraux abondent.
Ces termes insultants sont restés dans ImageNet pendant dix ans. Parce
qu’ImageNet était généralement utilisé pour la reconnaissance d’objets – en
donnant un sens très large au mot «objets»–, la catégorie spécifique Personne
a rarement été discutée lors des colloques techniques, et n’a guère attiré
l’attention jusqu’à ce que le projet ImageNet Roulette devienne viral sur
Internet en 2019 : lancé par l’artiste Trevor Paglen, il incluait une appli
permettant aux utilsateurs de télécharger des images pour voir comment ils
seraient classés selon les catégories de Personne d’ImageNet52. Partant,
l’attention des médias s’est focalisée sur les termes racistes et sexistes inclus
depuis longtemps dans cette collection influente. Peu après, les créateurs
d’ImageNet ont publié un article intitulé «Toward Fairer Datasets» (
Vers des
ensembles de données plus justes
) qui proposait de « supprimer les
synsets
dangereux». Ils demandèrent à douze étudiants diplômés de signaler toutes les
catégories qui semblaient dangereuses, parce qu’elles étaient «intrinsèquement
offensantes» (par exemple, des contenus injurieux, des «insultes visant la race
ou le genre») ou «sensibles» (pas intrinsèquement offensantes, mais contenant
des termes qui « peuvent être insultants lorsqu’ils sont utilisés de manière
inappropriée, comme la classification des personnes selon leur orientation
sexuelle ou leur religion»)53. Cette démarche cherchait à évaluer à quel point
les catégories d’ImageNet étaient offensantes, mais ses auteurs n’en continuent
pas moins à défendre la classification automatisée des personnes d’après photos
malgré des problèmes flagrants.
L’équipe d’ImageNet a fini par supprimer 1 593 des 2 832 catégories de
Personne – environ 56 % – les jugeant « dangereuses », ainsi que
les 600 040 images qui leur étaient associées. Il restait un demi-million
d’images «temporairement jugées sans danger54». Mais qu’est-ce qui est
sans
danger
quand il s’agit de classer les personnes? Faire disparaître les catégories
haineuses est une bonne chose, mais il ne faudrait pas oublier de s’interroger
sur le fonctionnement du système dans son ensemble. Toute la taxonomie
d’ImageNet révèle les complexités et les dangers de la classification humaine. Si
des termes comme « micro-économiste » ou « basketteur » peuvent sembler
moins préoccupants que l’usage d’étiquettes comme «débile», «bon-à-rien»,
«mulâtre» ou «plouc», quand nous regardons les personnes étiquetées sous
ces catégories nous voyons beaucoup de présupposés et de stéréotypes,
notamment sur la race, le genre, l’âge et les capacités. Dans la métaphysique
d’ImageNet, il existe des catégories distinctes pour «maître de conférence» et
pour «professeur des universités», comme si, après une promotion, le profil
biométrique de la personne reflétait ce changement de grade.
En fait, il n’y a pas de catégories neutres dans ImageNet, parce que la
sélection des images interagit toujours avec le sens des mots. La politique est
indissociable de la logique de classification, même quand les mots ne sont pas
offensants. En ce sens, ImageNet nous montre ce qui se passe quand les
personnes sont catégorisées comme les objets. Cette pratique s’est néanmoins
répandue ces dernières années, souvent au sein des entreprises tech. Les
modèles de classification utilisés par des entreprises comme Facebook sont
beaucoup plus difficiles à étudier et à critiquer: les systèmes exclusifs offrent
peu de moyens pour des personnes extérieures d’évaluer et de vérifier comment
les images sont classées et interprétées.
Et puis il y a la question de la provenance des images rassemblées dans les
catégories Personne d’ImageNet. Comme nous l’avons vu au chapitre
précédent, les créateurs d’ImageNet ont récolté des images en masse grâce à des
moteurs de recherche comme Google, extrait des selfies et des photos de
vacances à l’insu des gens, puis ont payé les employés de Mechanical Turk pour
les étiqueter et les reconditionner. Tous les biais et les préjugés dans les résultats
fournis par les moteurs de recherche façonnent donc les systèmes techniques
qui les écument et les étiquettent. Les
crowdworkers
mal payés se voient confier
la tâche impossible de donner un sens aux images au rythme de cinquante par
minute et de les ranger dans les catégories fondées sur les
synsets
de WordNet et
les définitions de Wikipédia55. Ce n’est sans doute pas étonnant qu’en
examinant la couche de soubassement de ces images étiquetées, on découvre
qu’elle est truffée de stéréotypes, d’erreurs et d’absurdités. Une femme allongée
sur une serviette de plage est une «kleptomane», un ado en maillot de sport
est qualifié de «loser», et une photo de l’actrice Sigourney Weaver apparaît
dans la catégorie «hermaphrodite».
Comme toutes les formes de données, les images sont chargées de toutes
sortes de significations potentielles, de questions insolubles et de
contradictions. En tentant de résoudre ces ambiguïtés, les étiquettes
d’ImageNet compressent et simplifient la complexité. L’objectif de rendre les
ensembles d’entraînement «plus justes» en supprimant les termes offensants
évite de s’attaquer à la dynamique de pouvoir liée à la classification et empêche
une évaluation plus approfondie des logiques sous-jacentes. Même si les pires
exemples sont corrigés ou supprimés, l’approche reste fondamentalement
construite sur une relation d’extraction avec des données coupées des
personnes et des lieux d’où elles proviennent. Elle passe par une vision
technique du monde, qui cherche à fusionner des matériaux culturels
complexes et variés en une forme d’objectivité singulière. En ce sens, la vision
du monde d’ImageNet n’a rien d’inhabituel. Elle est même typique de
beaucoup d’ensembles de données d’entraînement en IA, et révèle bon nombre
de problèmes liés aux modèles qui réduisent des relations sociales, culturelles,
politiques et historiques complexes à des entités quantifiables. Ce phénomène
est sans doute le plus évident et le plus insidieux lorsqu’on cherche à tout prix à
classer les personnes par race et par genre dans les systèmes techniques.
CONSTRUIRE LA RACE ET LE GENRE
En nous concentrant sur la classification dans l’IA, nous pouvons mieux voir
comment le genre, la race et la sexualité sont considérés à tort comme des
catégories biologiques naturelles, fixes et détectables. Selon Simone Browne,
spécialiste de la surveillance, « ces technologies partent du principe que les
catégories de race et d’identité de genre sont clairement tranchées, qu’une
machine peut être programmée pour assigner des catégories de genre ou
déterminer ce que doivent signifier les corps et les parties du corps56 ». En
effet, l’idée que la race et le genre sont automatiquement détectables en
apprentissage automatique est traitée comme un fait acquis et rarement remise
en cause par les disciplines techniques, malgré les graves problèmes politiques
qu’elle implique57.
L’ensemble de données UTKFace (produit par un groupe de l’Université du
Tennessee à Knoxville), par exemple, se compose de plus de20000images de
visages avec des annotations indiquant l’âge, le genre et la race58. Ses auteurs
affirment que cet ensemble de données peut être utilisé pour une large gamme
de tâches, notamment la détection faciale automatique, l’estimation de l’âge et
l’étude du vieillissement. Pour chaque image, les annotations incluent l’âge
estimé de la personne, entre 0 et 116 ans. Le genre est forcément binaire :
0 pour masculin, 1 pour féminin. La race, elle, se répartit en cinq classes :
Blanc, Noir, Asiatique, Indien et Autres. La politique du genre et de la race est
ici aussi flagrante que nuisible. Pourtant, ce genre de catégorisation
dangereusement réductrice est employé dans de très nombreux ensembles
d’entraînement de classification des humains, et fait partie du pipeline de
production de l’IA depuis des années.
L’étroit système de classement d’UTKFace fait écho aux classifications
raciales problématiques du XXe siècle, comme le système d’apartheid en Afrique
du Sud. Comme l’ont montré en détail Bowker et Star, le gouvernement sud-
africain adopta dans les années1950une législation qui créait un classement
racial grossier, les citoyens étant répartis selon les catégories « Européens,
Asiatiques, personnes de couleur ou de race mixte, et “indigènes” ou membres
de sang pur de la race bantoue59». Ce régime juridique raciste gouvernait la vie
quotidienne, principalement celle des Noirs, dont les mouvements étaient
restreints et qui furent chassés de leur terre. La politique de la classification
raciale touchait les aspects les plus intimes de l’existence. Les relations sexuelles
interraciales étaient interdites, ce qui entraîna jusqu’en 1980la condamnation
de11500personnes, des femmes non blanches pour la plupart60. Pour cette
classification, IBM avait conçu une base de données centralisée complexe, mais
l’entreprise dut souvent réorganiser le système et reclassifier les individus car il
n’existait en pratique aucune catégorie raciale pure61.
Surtout, ces systèmes de classification ont été extrêmement nuisibles pour les
personnes, et le concept d’un signifiant pur de «race» a toujours été contesté.
Selon Donna Haraway, «dans ces taxonomies, qui sont en somme de petites
machines pour clarifier et séparer les catégories, l’entité qui échappait toujours
à l’auteur de la classification était simple: la race même. Le Type pur, source de
rêves, de projets scientifiques et de terreurs, se dérobait à toutes les taxonomies
typologiques, les multipliant à l’infini62 ». Pourtant, dans les taxonomies
d’ensembles de données, et dans les systèmes d’apprentissage automatique qui
s’entraînent grâce à elles, on voit ressurgir le mythe du type pur, qui revendique
l’autorité de la science. Dans un article sur les dangers de la reconnaissance
faciale, le spécialiste des médias Luke Stark note qu’« en introduisant toutes
sortes de logiques classifiantes qui réifient les catégories raciales existantes ou
en produisent de nouvelles, la logique génératrice de modèles automatisés des
systèmes de reconnaissance faciale reproduit et exacerbe l’inégalité
systémique63».
Certaines méthodes d’apprentissage automatique ne se contentent pas de
prédire l’âge, le genre et la race. On a beaucoup mis en avant les efforts visant à
détecter la sexualité d’après des photographies figurant sur des sites de
rencontre, et la criminalité à partir des photos figurant sur les permis de
conduire64. Ces approches sont très problématiques pour plusieurs raisons,
notamment parce que des caractéristiques telles que la «criminalité»–comme
la race et le genre – sont des catégories profondément relationnelles,
socialement déterminées. Il ne s’agit pas de traits inhérents et fixes, mais
d’éléments liés à un contexte, qui varient selon le moment et le lieu. Pour
formuler ce genre de prédiction, les systèmes d’apprentissage automatique
cherchent à changer en catégories fixes des notions entièrement relationnelles,
et c’est à juste titre qu’on les considère comme problématiques sur le plan
scientifique et éthique65.
De façon très réelle, les systèmes d’apprentissage automatique
construisent
la
race et le genre: ils définissent le monde selon les termes qu’ils ont établis, avec
des conséquences qui peuvent aller très loin pour les personnes ainsi classées.
Saluer ces systèmes comme des innovations scientifiques pour prédire les
identités et les actes futurs, c’est négliger la fragilité technique de leur
élaboration, les priorités selon lesquelles ils sont conçus, et les nombreux
processus politiques de catégorisation qui les façonnent. Les spécialistes du
handicap soulignent depuis longtemps que la manière dont sont classés les
corps prétendus «normaux» contribue à stigmatiser la différence66. Comme
l’indique un rapport, l’histoire du handicap même est «l’histoire des manières
dont divers systèmes de classification (médicaux, scientifiques, juridiques…)
sont en interface avec les institutions sociales et leur expression du pouvoir et
du savoir67». À de multiples niveaux, l’acte consistant à définir les catégories et
les idées de normalité crée un en-dehors : des formes d’anormalité, de
différence et d’altérité. Les systèmes techniques accomplissent des interventions
politiques et normatives lorsqu’ils donnent un nom à quelque chose d’aussi
dynamique et relationnel que l’identité personnelle, et ils utilisent en général
pour cela un ensemble réducteur de possibilités de ce qu’est l’humain. Cela
limite le spectre selon lequel les personnes sont perçues et peuvent se
représenter, et restreint l’horizon des identités reconnaissables.
Comme le fait observer Ian Hacking, classer les gens est un impératif
impérialiste : les sujets étaient classés une fois conquis par les empires, puis
ordonnés en «une sorte de peuple» par les institutions et les experts68. L’acte
de nommer était une affirmation de pouvoir et de contrôle colonial, et les
effets négatifs de ces classifications peuvent survivre aux empires proprement
dits. Les classifications sont une technologie qui produit et limite les modes de
savoir, et elles sont inscrites dans la logique de l’IA.
LES LIMITES DE LA MESURE
Que faut-il faire alors ? Si tant de strates de classification des données
d’entraînement et des systèmes techniques sont des formes de pouvoir et de
politique représentées comme des formes de mesure objective, comment peut-
on y remédier ? Comment les concepteurs de système devraient-ils tenir
compte de l’esclavage, de l’oppression et de siècles de discrimination à
l’encontre de certains groupes au profit d’autres groupes ? Autrement dit,
comment les systèmes d’IA devraient-ils construire leurs représentations du fait
social?
Choisir quelles informations alimenteront les systèmes d’IA pour produire
de nouvelles classifications est un moment crucial de prise de décision: mais
qui choisit, et sur quelle base? Le problème en informatique est que l’équité
des systèmes d’IA ne sera jamais quelque chose qui peut être codé ou calculé. Il
ne faut plus évaluer les systèmes selon la métrique de l’optimisation et la parité
statistique, mais comprendre où les cadres des mathématiques et de l’ingénierie
causent des problèmes. Autrement dit, comprendre comment les systèmes d’IA
interagissent avec les données, les travailleurs, l’environnement et les individus
dont la vie sera affectée par son utilisation, et décider où l’IA ne devrait pas être
employée.
Bowker et Star concluent que la densité même des collisions entre modes de
classification appelle un nouveau type d’approche, une sensibilité à la
«topographie de choses comme la répartition de l’ambiguïté; la dynamique
des fluides qui fait se rencontrer les systèmes de classement, tectonique des
plaques plutôt que géologie statique69». Mais cela suppose aussi de s’intéresser
à la répartition inégale des avantages et des souffrances, car «la manière dont
ces choix sont faits et la façon dont nous concevons ce processus d’appariement
invisible sont au cœur du projet éthique70 ». Les classifications non
consensuelles présentent de sérieux risques, tout comme les hypothèses
normatives sur l’identité, mais ces pratiques sont devenues la règle. Cela doit
changer.
Dans ce chapitre nous avons vu comment les infrastructures de classification
contiennent des lacunes et des contradictions: elles réduisent nécessairement la
complexité et écartent un contexte significatif, afin de rendre le monde plus
«computable». Mais elles prolifèrent aussi sur les plateformes d’apprentissage
automatique, selon ce qu’Umberto Eco appelle une « énumération
chaotique71 ». À un certain niveau de granularité, les choses semblables et
dissemblables deviennent suffisamment comparables pour que leurs similitudes
et leurs différences soient lisibles par une machine alors qu’en réalité leurs
caractéristiques sont sans commune mesure. Ici, il ne s’agit plus de se
demander si une chose est classée comme bonne ou mauvaise. Nous assistons à
des retournements imprévisibles quand les catégories des machines et les
personnes interagissent et se modifient mutuellement, lorsqu’ils tentent de
trouver une lisibilité dans un terrain en pleine évolution, de s’adapter aux
bonnes catégories et de s’abreuver aux sources les plus lucratives. Dans un
paysage d’apprentissage automatique, ces questions sont difficiles à discerner
mais ne sont pas moins urgentes. Ce qui est en jeu, ce n’est pas seulement une
curiosité historique ou l’étrange sensation d’inadéquation entre les profils en
pointillé que nous apercevons sur nos plateformes. Chaque classification a ses
conséquences.
L’histoire de la classification nous montre que les formes les plus nuisibles de
la catégorisation humaine – de l’apartheid à la pathologisation de
l’homosexualité–n’ont pas purement et simplement disparu à la lumière de la
recherche scientifique et de la critique éthique. Le changement a nécessité une
organisation politique, des contestations durables et des campagnes publiques
sur plusieurs années. Les schémas de classification renforcent les structures de
pouvoir qui les ont formés, et celles-ci n’évoluent qu’au prix d’un effort
considérable. Selon la formule de Frederick Douglass, «le pouvoir ne concède
rien qui ne soit exigé. Il ne l’a jamais fait et ne le fera jamais72». Au cœur des
régimes invisibles de classification de l’apprentissage automatique, il est plus
difficile d’énoncer des exigences et de s’opposer à leur logique interne.
Les ensembles d’entraînement qui sont rendus publics –comme ImageNet,
UTKFace et DiF – nous renseignent sur les types de catégorisation qui se
propagent à travers les systèmes industriels d’IA et les pratiques de recherche.
Mais les moteurs de classification vraiment massifs sont ceux qui sont exploités
à l’échelle mondiale par les entreprises privées comme Facebook, Google,
TikTok et Baidu. Elles opèrent sans que personne ne se soucie vraiment de la
façon dont elles catégorisent et ciblent les utilisateurs, et elles n’ouvrent aucune
voie à la contestation publique. Quand les processus d’appariement de l’IA
sont vraiment cachés et que les gens ignorent pourquoi et comment ils sont
avantagés ou désavantagés, une réaction politique collective s’impose – alors
même qu’elle devient plus difficile.
1Fabian,
The Skull Collectors
.
2Gould,
La Mal-Mesure de l’homme
, p.85.
3Kolbert, «There’s No Scientific Basis for Race».
4Keel, «Religion, Polygenism and the Early Science of Human Origins».
5Thomas,
Skull Wars
.
6
Ibid
., p.85.
7Kendi, «A History of Race and Racism in America».
8Gould,
La Mal-Mesure de l’homme
, p.88-89.
9Mitchell, «Fault in His Seeds».
10Horowitz, «Why Brain Size Doesn’t Correlate with Intelligence».
11Mitchell, «Fault in His Seeds».
12Gould,
La Mal-Mesure de l’homme
, p.57.
13West, «A Genealogy of Modern Racism», p.91.
14Bouche et Rivard, «America’s Hidden History».
15Bowker et Star,
Sorting Things Out
, p.319.
16
Ibid
.
17 Nedlund, « Apple Card Is Accused of Gender Bias » ; Angwin
et al
.,
« Machine Bias » ; Angwin
et al
., « Dozens of Companies Are Using
Facebook to Exclude».
18Dougherty, «Google Photos Mistakenly Labels Black People “Gorillas”»;
Perez, «Microsoft Silences Its New A.I. Bot Tay » ; McMillan, «It’s Not
You, It’s It»; Sloane, «Online Ads for High-Paying Jobs Are Targeting Men
More Than Women».
19Voir Benjamin,
Race after Technology
; et Noble,
Algorithms of Oppression
.
20Greene, «Science May Have Cured Biased AI»; Natarajan, «Amazon and
NSF Collaborate to Accelerate Fairness in AI Research».
21Dastin, «Amazon Scraps Secret AI Recruiting Tool».
22
Ibid
.
23Cela s’inscrit dans une tendance plus large à l’automatisation de certains
aspects du recrutement. Pour un exposé détaillé, voir Ajunwa et Greene,
«Platforms at Work».
24Il existe plusieurs comptes rendus remarquables sur l’histoire des inégalités
et des discriminations dans le domaine numérique et de l’IA. En voici
quelques-uns qui ont influencé ma réflexion : Hicks,
Programmed
Inequality
; McIlwain,
Black Software
; Light, « When Computers Were
Women»; et Ensmenger,
The Computer Boys Take Over
.
25Cetina,
Epistemic Cultures
, p.3.
26Merler
et al
., «Diversity in Faces».
27Buolamwini et Gebru, «Gender Shades»; Raji
et al
., «Saving Face».
28Merler
et al
., «Diversity in Faces».
29Multimedia Commons Initiative, «YFCC100M Core Dataset».
30Merler
et al
., «Diversity in Faces», p.1.
31Il y a d’excellents livres sur ces questions, mais voir en particulier: Roberts,
Fatal Invention
, p.18-41; et Nelson,
Social Life of DNA
, p.43. Voir aussi
Tishkoff et Kidd, «Implications of Biogeography».
32Browne, «Digital Epidermalization», p.135.
33Benthall et Haynes, «Racial Categories in Machine Learning».
34Mitchell, «The Need for Biases in Learning Generalizations».
35Dietterich et Kong, «Machine Learning Bias, Statistical Bias».
36Domingos, «A Few Useful Things to Know about Machine Learning».
37
Maddox v. State
, 32Ga. 5S7, 79Am. Dec. 307;
Pierson v. State
, 18Tex.
App.55S;
Hinkle v. State
, 94Ga. 595, 21S.E. 601.
38Tversky et Kahneman, «Judgment under Uncertainty».
39Greenwald et Krieger, «Implicit Bias», p.951.
40Fellbaum (dir.),
WordNet
, p. xviii. Plus bas, je m’appuie sur les recherches
menées avec Trevor Paglen sur ImageNet. Voir Crawford et Paglen,
«Excavating AI».
41Fellbaum,
WordNet
, p. xix.
42Nelson et Kučera,
Brown Corpus Manual
.
43Borges, «La langue analytique de John Wilkins».
44 Ce sont certaines des catégories qui ont désormais été totalement
supprimées d’ImageNet au1er octobre2020.
45Voir Keyes, «The Misgendering Machines».
46Drescher, «Out of DSM».
47Voir Bayer,
Homosexuality and American Psychiatry
.
48Keyes, «The Misgendering Machines».
49Hacking, «Making Up People», p.23.
50Bowker et Star,
Sorting Things Out
, p.196.
51Je me suis inspirée ici de Lakoff,
Women, Fire, and Dangerous Things
.
52 ImageNet Roulette est l’un des fruits de ma collaboration sur plusieurs
années avec l’artiste Trevor Paglen, au cours de laquelle nous avons étudié la
logique sous-jacente de nombreux ensembles d’entraînement en IA.
ImageNet Roulette, dirigé par Paglen et produit par Leif Ryge, était une
appli permettant d’interagir avec un réseau de neurones entraîné sur la
catégorie «personne» d’ImageNet. Les utilisateurs pouvaient télécharger des
photos d’eux-mêmes –ainsi que des images d’archives ou d’actualités–pour
voir comment ImageNet les étiqueterait. Ils verraient aussi combien
d’étiquettes sont étranges, racistes, misogynes ou problématiques. L’appli a
été conçue pour montrer aux gens ces étiquettes préoccupantes, tout en les
avertissant des résultats potentiels. Toutes les images et données téléchargées
étaient immédiatement supprimées lors du traitement. Voir Crawford et
Paglen, «Excavating AI».
53Yang
et al
., «Towards Fairer Datasets», §4.2.
54
Ibid
., §4.3.
55Markoff, «Seeking a Better Way to Find Web Images».
56Browne,
Dark Matters
, p.114.
57Scheuerman
et al
., «How We’ve Taught Algorithms to See Identity».
58UTKFace Large Scale Face Dataset: susanqq.github.io/UTKFace.
59Bowker et Star,
Sorting Things Out
, p.197.
60
Ibid
., p.198.
61Edwards et Hecht, «History and the Technopolitics of Identity», p.627.
62Haraway,
Modest_Witness@Second_Millennium
, p.234.
63Stark, «Facial Recognition Is the Plutonium of AI», p.53.
64Dans l’ordre des exemples, voir Wang et Kosinski, «Deep Neural Networks
Are More Accurate than Humans»; Wu et Zhang, «Automated Inference
on Criminality Using Face Images»; et Angwin
et al
., «Machine Bias».
65Agüera y Arcas, Mitchell et Todorov, «Physiognomy’s New Clothes».
66Nielsen,
A Disability History of the United States
; Kafer,
Feminist, Queer,
Crip
; Siebers,
Disability Theory
.
67Whittaker
et al
., «Disability, Bias, and AI».
68Hacking, «Kinds of People», p.289.
69Bowker et Star,
Sorting Things Out
, p.31.
70
Ibid
., p.6.
71Eco,
Vertige de la liste
.
72Douglass, «West India Emancipation».
5
Les affects
Dans un avant-poste isolé des hautes terres de la Papouasie-Nouvelle-Guinée,
un jeune psychologue américain nommé Paul Ekman est arrivé avec une
collection de fiches mémo et une théorie nouvelle1. C’était en1967, et Ekman
avait entendu dire que les Fore d’Okapa vivaient tellement coupés du monde
qu’ils seraient des sujets parfaits pour son expérience. Comme de nombreux
chercheurs occidentaux avant lui, Ekman venait extraire des données de la
communauté indigène. Il cherchait à rassembler des preuves pour étayer une
hypothèse controversée, à savoir que tous les humains manifestent un petit
nombre d’émotions universelles qui sont naturelles, innées et interculturelles,
des affects identiques partout dans le monde. Bien que cette idée reste fragile,
elle a eu des conséquences considérables : les présupposés d’Ekman sur les
émotions ont donné naissance à une industrie en plein essor, qui pèse plus
de17milliards de dollars2. Voici donc comment la reconnaissance des affects
est devenue partie intégrante de l’intelligence artificielle, et quels problèmes
elle soulève.
ÀOkapa, sous les tropiques, guidé par D. Carleton Gajdusek, chercheur en
médecine, et E. Richard Sorenson, anthropologue, Ekman espérait déterminer
par ses expériences comment les Fore reconnaissaient les émotions véhiculées
par les expressions du visage. Comme les Fore n’avaient que très peu de
contacts avec les Occidentaux ou les médias, Ekman voulait en déduire que
leur façon d’afficher et reconnaître des expressions fondamentales prouverait
qu’elles étaient universelles. Ses méthodes étaient simples. Il leur montrait ses
fiches d’expressions faciales pour voir s’ils décrivaient les émotions comme lui.
Pour citer Ekman, « tout ce que je faisais, c’était leur montrer des images
amusantes3».
Mais Ekman ignorait l’histoire des Fore, leur langue, leur culture et leur
politique. Malgré le recours à des interprètes, ses tentatives échouèrent ; ses
sujets et lui-même sortirent épuisés de l’expérience, qu’il a comparée à une
séance d’arrachage de dents4. Ekman quitta la Papouasie-Nouvelle-Guinée
frustré par sa première tentative de recherche interculturelle sur l’expression des
émotions. Mais ce n’était que le début.
Aujourd’hui, on trouve des outils de reconnaissance des affects dans les
systèmes de sécurité nationale et les aéroports, dans l’enseignement et les start-
ups de recrutement, des systèmes qui prétendent détecter les maladies
psychiatriques aux programmes prédictifs des services de police contre la
violence. En examinant comment est née la détection informatisée des
émotions, nous comprendrons pourquoi ses méthodes suscitent des
inquiétudes éthiques et des doutes scientifiques. Comme nous le verrons, l’idée
que l’état émotionnel d’une personne puisse être évalué avec précision en
analysant son visage repose sur des éléments fragiles5. En fait, c’est ce que
montre incontestablement un examen exhaustif de la littérature scientifique
publiée en 2019 sur la déduction des émotions à partir des mouvements
faciaux :
aucune preuve fiable
n’indique qu’on puisse prédire avec exactitude
l’état affectif d’une personne à partir de son visage6.
Comment ce ramassis de postulats controversés et de méthodologies
expérimentales a-t-il pu se transformer en une approche qui régit une bonne
part de l’industrie de l’IA ? Pourquoi l’idée qu’il existe un petit ensemble
d’émotions universelles, faciles à décrypter sur le visage, est-elle devenue si
largement acceptée en IA, malgré tout ce qui prouve le contraire ? Pour le
comprendre, il faut retracer comment ces théories se sont développées, bien
avant que les outils de détection des émotions de l’IA ne s’inscrivent dans
l’infrastructure de la vie quotidienne.
Ekman n’est qu’une des nombreuses personnes qui ont contribué aux
théories menant à la reconnaissance des affects. Mais la riche et étonnante
histoire de ses recherches éclaire certaines des forces complexes qui dominent
ce secteur. Ses travaux sont liés au financement des sciences humaines par les
services de renseignement américains pendant la guerre froide, aux
fondamentaux de la vision par ordinateur, aux programmes de sécurité post-
11septembre pour identifier les terroristes, et à l’actuel engouement pour la
reconnaissance des émotions en IA. Cette chronique associe idéologie, mesures
économiques, politique fondée sur la peur, et désir d’extraire plus
d’informations sur les gens qu’ils ne sont prêts à en donner.
LES PROPHÈTES DE L’ÉMOTION: QUAND LES SENTIMENTS PAIENT
Pour les armées, les entreprises, les agences de renseignement et les forces de
police du monde entier, l’idée de reconnaissance automatisée des affects est
aussi fascinante que lucrative. Elle promet les moyens sûrs de distinguer les
amis des ennemis, le mensonge de la vérité, et d’utiliser les instruments de la
science pour explorer les mondes intérieurs.
Les entreprises tech ont capturé d’énormes volumes d’images d’expressions
humaines – dont des milliards proviennent de selfies sur Instagram, de
portraits sur Pinterest, de vidéos sur TikTok et de photos sur Flickr. L’une des
nombreuses choses rendues possibles par cette profusion d’images, c’est la
tentative d’extraction de la soi-disant vérité cachée des états émotionnels
intérieurs en utilisant l’apprentissage automatique. La reconnaissance des
affects est intégrée dans plusieurs plateformes de reconnaissance faciale, que ce
soient celles des plus grandes multinationales ou celles de petites start-ups.
Alors que la reconnaissance faciale tente d’identifier un individu
particulier
, la
détection des affects vise à détecter et classer les émotions en analysant
n’importe quel
visage. Ces systèmes ne font peut-être pas ce qu’ils prétendent
faire, mais ils peuvent néanmoins être de puissants agents qui influencent le
comportement et habituent les gens à agir de manière reconnaissable. Ils jouent
donc déjà un rôle en façonnant la façon dont les gens se comportent et dont les
institutions sociales opèrent, même s’il n’existe pas de véritables preuves
scientifiques de leur efficacité.
Les systèmes de détection automatique des affects sont aujourd’hui très
répandus, surtout dans la sphère du recrutement. La start-up londonienne
Human a recours à la reconnaissance des émotions pour analyser les entretiens
d’embauche filmés. Selon un article du
Financial Times
, «l’entreprise affirme
pouvoir repérer les expressions émotionnelles des candidats et les associer à des
traits de personnalité » ; elle les évalue ensuite selon des traits comme
l’honnêteté ou la passion du métier7. La société de recrutement HireVue, qui
compte Goldman Sachs, Intel et Unilever parmi ses clients, se sert de
l’apprentissage automatique pour évaluer les indices faciaux et déterminer
l’aptitude d’une personne à occuper un poste. En 2014, elle a lancé son
système d’IA pour extraire des entretiens vidéo les micro-expressions, le ton de
la voix et d’autres variables, qui lui permettent de comparer les candidats avec
leurs meilleures recrues8.
En janvier2016, Apple a racheté la start-up Emotient, qui revendiquait un
logiciel capable de détecter les émotions à partir d’images de visages9. Emotient
est le fruit de recherches menées à l’Université de Californie à San Diego, et
c’est l’une des nombreuses start-ups actives dans le domaine10. Mais la plus
importante est sans doute Affectiva, implantée à Boston suite aux travaux
menés au Massachusetts Institute of Technology. Au MIT, Rosalind Picard et
ses collègues faisaient partie d’un nouveau champ de recherches baptisé
informatique affective, c’est-à-dire qui «se réfère aux émotions ou à d’autres
phénomènes affectifs, en résulte ou les influence délibérément11».
Affectiva programme toutes sortes d’applications relatives aux émotions en
utilisant surtout les techniques d’apprentissage profond (
deep learning
), que ce
soit pour détecter les automobilistes distraits et « à risque » ou mesurer la
réaction émotionnelle des consommateurs face à la publicité. L’entreprise a
construit ce qu’elle appelle la plus grande base de données de réponses
émotionnelles au monde : elle est constituée de plus de 10 millions
d’expressions d’individus recueillies dans87pays12. Sa collection monumentale
de vidéos de gens en train d’exprimer leurs émotions a été étiquetée
manuellement par des
crowdworkers
travaillant surtout au Caire13. De très
nombreuses entreprises utilisent désormais les produits sous licence d’Affectiva
pour développer leurs applications ou services – qu’il s’agisse d’évaluer les
candidats dans un processus de recrutement ou l’engagement des élèves en
classe–, le tout en capturant et analysant les expressions faciales et le langage
corporel14.
Au-delà des start-ups, des géants de l’IA comme Amazon, Microsoft et IBM
ont tous conçu des systèmes de détection des affects et des émotions. Microsoft
propose la détection d’émotions avec API Face, qui prétend détecter ce
qu’éprouve quelqu’un à travers les émotions de «colère, mépris, dégoût, peur,
joie, indifférence, tristesse ou surprise », puisqu’on considère « ces émotions
comme étant communiquées de manière interculturelle et universelle par des
expressions faciales particulières15 ». Rekognition, l’outil d’Amazon, prétend
aussi pouvoir identifier «les sept émotions» et «mesurer leur évolution dans le
temps, comme on reconstituerait les émotions successives manifestées par un
acteur16».
Mais comment fonctionnent ces technologies ? Les systèmes de
reconnaissance des émotions sont nés dans les interstices entre les technologies
d’IA, les priorités militaires et les sciences comportementales–la psychologie
en particulier. Ils partagent un ensemble de schémas et de présupposés
fondateurs, à savoir qu’il existe un petit nombre de catégories émotionnelles
distinctes et universelles, que nous révélons involontairement ces émotions sur
notre visage, et qu’elles peuvent être détectées par des machines. Ces articles de
foi sont tellement admis dans certains domaines qu’il semblerait étrange d’y
prêter attention, sans parler de les remettre en question. Ils sont si enracinés
qu’ils constituent désormais «la vision commune17». Mais si nous examinons
comment la taxonomie des émotions – soigneusement ordonnées et
étiquetées – a été créée, attendons-nous à ce que les questions surgissent de
tous les recoins. Et l’une des figures de proue de cette approche taxonomique,
c’est Paul Ekman.
«LE PLUS CÉLÈBRE LECTEUR DE VISAGES AU MONDE»
Les recherches d’Ekman ont débuté grâce à sa rencontre avec Silvan Tomkins,
alors psychologue réputé, enseignant à Princeton, qui avait publié en1962le
premier volume de son magnum opus,
Affect Imagery Consciousness
18. Les
travaux de Tomkins sur les affects ont eu une influence énorme sur Ekman, qui
consacra une bonne partie de sa carrière à en étudier les implications. Un
aspect en particulier a joué un rôle disproportionné: l’idée que si les affects
étaient un ensemble inné de réactions engendré par l’évolution, ils devaient
être universels et donc reconnaissables entre les cultures. Ce désir d’universalité
explique pourquoi ces théories sont aujourd’hui largement appliquées dans les
systèmes de reconnaissance des émotions de l’IA: il fournissait un petit groupe
de principes applicables partout, une simplification de la complexité facilement
reproductible.
Dans l’introduction d’
Affect Imagery Consciousness
, Tomkins présentait sa
théorie des affects universels d’origine biologique comme pour répondre à une
grave crise de la souveraineté humaine. Il défiait le développement du
comportementalisme et de la psychanalyse, deux écoles de pensée qui, selon
lui, traitent la conscience comme un simple sous-produit – et au service –
d’autres forces. Il notait que la conscience humaine avait « été contestée et
réduite maintes et maintes fois, d’abord par Copernic» qui a chassé l’homme
du centre de l’univers, «puis par Darwin», dont la théorie de l’évolution a fait
voler en éclats l’idée que les humains ont été créés à l’image d’un dieu chrétien,
«et surtout par Freud», qui a décentré la conscience et la raison humaines en
tant que forces motrices de nos motivations19. Tomkins poursuivait : « Le
paradoxe du contrôle maximal sur la nature et du contrôle minimal sur la
nature humaine dérive en partie du désintérêt pour le rôle de la conscience
comme mécanisme de contrôle20.» Pour le dire simplement,
la conscience ne
nous dit pas grand-chose sur les raisons pour lesquelles nous ressentons et agissons
comme nous le faisons
. Et c’est une revendication cruciale pour toutes sortes
d’applications ultérieures de la théorie des affects, qui met l’accent sur
l’incapacité des humains à reconnaître à la fois l’émotion et l’expression des
affects: si, en tant qu’humains, nous sommes incapables de détecter réellement
ce que nous ressentons, alors peut-être que les systèmes d’IA peuvent le faire
pour nous?
C’est par la théorie des affects que Tomkins abordait le problème de la
motivation humaine. Il affirmait que la motivation était gouvernée par deux
systèmes : les affects et les pulsions. Pour lui, les pulsions tendent à être
étroitement associées aux besoins biologiques immédiats comme la faim et la
soif21. Elles sont instrumentales: on remédie à la souffrance de la faim par la
nourriture. Mais le premier système qui régit la motivation et le comportement
humains est celui des affects, qui contient des
sentiments
positifs et négatifs. Les
affects, qui jouent le rôle principal dans la motivation humaine, amplifient les
signaux des pulsions, mais ils sont beaucoup plus complexes. Par exemple, il est
difficile de connaître la raison ou les causes précises pour lesquelles un bébé
pleure, exprimant l’affect de détresse-angoisse. Il se peut que le bébé «ait faim
ou froid, qu’il soit mouillé, qu’il ait mal ou qu’il ait de la température22». De
même, ce sentiment affectif peut être géré de plusieurs façons : « On peut
mettre un terme aux pleurs en le nourrissant, en le câlinant, en rendant la pièce
plus chaude ou plus froide, en retirant l’épingle à nourrice qui le pique, et ainsi
de suite23.»
Tomkins conclut: «Le prix à payer pour cette flexibilité est l’ambiguïté et
l’erreur. L’individu peut ou non identifier correctement la “cause” de sa peur ou
de sa joie, il peut ou non apprendre à réduire sa peur ou à prolonger ou
retrouver sa joie. Vu sous cet angle, le système des affects n’est pas un système
de signaux aussi simple que le système des pulsions24 ». Contrairement aux
pulsions, les affects ne sont pas strictement instrumentaux ; ils ont un haut
degré d’indépendance par rapport aux stimuli et aux objets, ce qui signifie que
souvent nous ne savons pas pourquoi nous nous sentons heureux, en colère ou
effrayés25.
Toute cette ambiguïté pourrait suggérer que la complexité des affects est
impossible à démêler. Comment pouvons-nous savoir quoi que ce soit sur un
système où les connexions entre la cause et l’effet, le stimulus et la réponse,
sont si ténues et si incertaines? Tomkins a proposé une explication: «Chacun
des affects fondamentaux […] semble être relié de manière innée à un système
organique extraordinairement visible », à savoir le visage26. Il a trouvé des
précédents à l’importance accordée à l’expression faciale dans deux ouvrages
publiés au XIXe siècle :
L’Expression des émotions chez l’homme et les animaux
(1872) de Charles Darwin, et un obscur volume du neurologue Guillaume-
Benjamin-Amand Duchenne de Boulogne,
Mécanisme de la physionomie
humaine ou Analyse électro-physiologique de l’expression des passions applicable à la
pratique des arts plastiques
(1862)27.
Tomkins partait du principe que la manifestation faciale des affects est un
universel humain. Pour lui, « les affects sont des ensembles de réactions
musculaires, vasculaires et glandulaires, localisées dans le visage et largement
réparties à travers le corps, qui entraînent une rétroaction sensorielle […]. Ces
ensembles organisés de réactions sont déclenchés dans les centres sous-
corticaux où sont stockés des “programmes” spécifiques pour chaque affect
distinct»–sans doute l’un des premiers usages d’une métaphore informatique
pour désigner un système humain28.
Tomkins reconnaissait pourtant que l’
interprétation
des manifestations
affectives dépend de facteurs individuels, sociaux et culturels. Il admettait
l’existence de «dialectes» très différents du langage facial, selon les sociétés29.
Même lui, le père de la recherche sur les affects, évoquait la possibilité que la
reconnaissance des émotions dépende du contexte social et culturel. Ce conflit
potentiel entre les dialectes culturels et un langage universel dont la base serait
biologique a eu d’énormes conséquences pour l’étude de l’expression du visage
et les formes ultérieures de reconnaissance des émotions. Puisque les
expressions faciales sont culturellement variables, les utiliser pour entraîner des
systèmes d’apprentissage automatique reviendrait inévitablement à mélanger
toutes sortes de contextes, de signaux et d’attentes.
Au milieu des années1960, Ekman connut une opportunité: l’Advanced
Research Project Agency (ARPA), la branche recherche du département
américain de la Défense. Rétrospectivement, il admit: «Ce n’était pas mon
idée de faire ça [de la recherche sur les affects]. On me l’a demandé, on m’y a
poussé. Ce n’est même pas moi qui ai rédigé le projet de recherche. Il a été écrit
pour moi par l’homme qui me donnait l’argent pour le faire30.» En1965, il
travaillait sur l’expression non verbale dans un cadre clinique et cherchait des
fonds pour développer un programme de recherche à l’Université de Stanford.
Il obtint un rendez-vous à Washington avec Lee Hough, chef de la division
Sciences comportementales de l’ARPA31. Hough n’était pas intéressé par ce
qu’Ekman avait à lui dire sur sa recherche, mais il a vu un potentiel dans le
domaine de la communication non verbale interculturelle32.
Le seul problème, c’était qu’Ekman–de son propre aveu– ignorait tout de
la recherche interculturelle : « Je ne savais même pas quels étaient les
arguments, la littérature ou les méthodes33. » Il décida donc de renoncer au
financement proposé par l’ARPA. Mais Hough insista et, selon Ekman, il
«passa une journée dans mon bureau, à rédiger la proposition qu’il finança
ensuite, et qui me permit de mener les recherches qui m’ont rendu célèbre–à
savoir des preuves de l’universalité de certaines expressions faciales d’émotions,
et les différences culturelles dans les gestes34 ». L’ARPA lui versa des fonds
colossaux d’environ un million de dollars– l’équivalent de8millions de dollars
actuels35.
À l’époque, Ekman s’est demandé pourquoi Hough semblait si désireux de
financer cette recherche, malgré ses objections et son manque de compétence.
Il s’avère que Hough voulait rapidement distribuer son argent pour éviter les
soupçons du sénateur Frank Church, qui l’avait surpris à utiliser la recherche
en sciences sociales comme couverture pour obtenir au Chili des informations
susceptibles de renverser le gouvernement de gauche du président Salvador
Allende36. Ekman finit par se dire qu’il était simplement un type chanceux, qui
pourrait « mener des recherches à l’étranger sans valoir d’ennuis [à
Hough] !37 ». L’ARPA serait la première d’une longue série d’agences de la
défense, du renseignement ou des forces de l’ordre à financer tant la carrière
d’Ekman que le domaine de la reconnaissance des affects en général.
Grâce à cette subvention généreuse, Ekman mena ses premières études pour
prouver l’universalité des expressions faciales. Elles suivaient pour l’ensemble
un modèle qui serait imité dans les premiers labos d’IA. Il reprit en grande
partie les méthodes de Tomkins, utilisant jusqu’à ses photographies pour tester
des sujets venus du Chili, d’Argentine, du Brésil, des États-Unis et du Japon38.
Il demandait également aux participants de la recherche de simuler les
expressions d’une émotion, et comparait le résultat avec des expressions
recueillies «dans la nature», c’est-à-dire hors des conditions de laboratoire39.
On présentait aux sujets des photographies d’expressions faciales posées,
sélectionnées par les concepteurs pour illustrer ou exprimer un affect
particulièrement « pur » ou intense. Ils devaient alors choisir parmi ces
catégories d’affects et étiqueter l’image. L’analyse mesurait à quel point les
étiquettes choisies par les sujets correspondaient à celles qu’avaient choisies les
concepteurs.
D’emblée, la méthodologie se révéla problématique. On reprocherait plus
tard au format de réponse adopté par Ekman, avec son choix forcé, d’attirer
l’attention des sujets sur des connexions déjà établies par les concepteurs entre
les expressions faciales et les émotions40. Par ailleurs, le fait que ces émotions
étaient simulées ou posées remettait sérieusement en question la validité des
résultats41. Cette approche permit à Ekman de découvrir une certaine
concordance interculturelle, mais ses conclusions furent contestées par
l’anthropologue Ray Birdwhistell, pour qui cela ne reflétait peut-être pas des
états affectifs innés s’ils étaient culturellement acquis à travers l’exposition aux
mass-médias (cinéma, télévision, magazines)42. C’est cette querelle qui a poussé
Ekman à partir pour la Papouasie-Nouvelle-Guinée, pour étudier
spécifiquement les populations indigènes des hautes terres. Il pensait que si un
peuple ayant très peu de contacts avec la culture et les médias occidentaux était
d’accord avec la façon dont il avait catégorisé les expressions affectives posées,
cela constituerait une preuve solide de l’universalité de son système.
Après sa première tentative auprès des Fore de Papouasie, Ekman conçut à
son retour une approche alternative afin de prouver sa théorie. Il montrait à ses
sujets américains une photographie, puis leur demandait de choisir l’un des six
concepts d’affect: joie, peur, dégoût-mépris, colère, surprise et tristesse43. Les
résultats étaient assez proches de ceux observés avec des sujets d’autres pays
pour qu’Ekman se croie en mesure d’affirmer que «des comportements faciaux
particuliers sont universellement associés à des émotions particulières44».
LES AFFECTS: DE LA PHYSIOGNOMONIE À LA PHOTOGRAPHIE
L’idée que les états intérieurs peuvent être déduits de manière fiable à partir de
signes externes découle en partie de l’histoire de la physiognomonie, qui
consistait à étudier les traits du visage d’un individu pour y trouver des
indications de son caractère. Dans l’Antiquité, Aristote croyait « possible de
juger d’après les apparences corporelles, si on accorde que les affections
naturelles provoquent un changement simultané dans le corps et dans
l’âme45». Les Grecs se servaient aussi de la physiognomonie en tant que forme
primitive de la classification raciale, appliquée à «l’espèce humaine elle-même,
divisée en races, dans la mesure où les hommes diffèrent par l’apparence et par
le caractère (par exemple les Égyptiens, les Thraces et les Scythes)46 ». Ils
supposaient l’existence d’un lien entre le corps et l’âme qui autorisait à lire le
caractère intérieur d’une personne à partir de son aspect extérieur.
Dans la culture occidentale, la physiognomonie atteignit son apogée aux
XVIIIe et XIXe siècles, quand on la considéra comme un domaine des sciences
anatomiques. Le pasteur suisse Johann Kaspar Lavater fut une figure
emblématique de cette tradition, avec son
Essai sur la physiognomonie, destiné à
faire connaître l’homme et à le faire aimer
, initialement publié en allemand
en 178947. Combinant les approches de la physiognomonie et les dernières
découvertes scientifiques, Lavater tenta de créer une comparaison plus
« objective » des visages en utilisant des silhouettes plutôt que des gravures
artistiques, parce qu’elles étaient plus mécaniques et fixaient la position de
chaque visage sous la forme familière du profil, d’où la possibilité de les
comparer48. Il pensait que la structure osseuse était un lien sous-jacent entre
l’apparence physique et le type de caractère. Si les expressions faciales étaient
fugaces, les crânes offraient un matériau plus solide pour les déductions
physiognomoniques49. Comme nous l’avons vu au chapitre précédent, la
mesure des crânes servait à étayer le nationalisme émergent, le racisme et la
xénophobie. Ce triste travail a été développé tout au long du XIXe siècle par des
phrénologues comme Franz Joseph Gall et Johann Gaspar Spurzheim, ainsi
qu’en criminologie scientifique avec les recherches de Cesare Lombroso –
conduisant tous aux types de classification inférentielle récurrents dans les
systèmes actuels d’IA.
Mais c’est le neurologue Duchenne de Boulogne, décrit par Ekman comme
un « observateur merveilleusement doué », qui a codifié l’usage de la
photographie et d’autres moyens techniques pour l’étude des visages
humains50. Dans
Mécanisme de la physionomie humaine
, Duchenne a posé
d’importantes bases pour Darwin et Ekman, reliant des idées plus anciennes
tirées de la physiognomonie et de la phrénologie aux recherches plus modernes
en physiologie et psychologie. Il remplaça de vagues assertions sur le caractère
par une étude plus restreinte de l’expression et des états intérieurs mentaux ou
états émotionnels51.
Duchenne travaillait à l’hôpital de la Salpêtrière, qui accueillait
jusqu’à5000patients souffrant d’une large gamme de maladies mentales et de
conditions neurologiques. Certains deviendraient les sujets de ses expériences
douloureuses, s’inscrivant dans la longue tradition d’expérimentation médicale
et technologique sur les plus vulnérables et ceux qui ne peuvent pas refuser52.
Peu connu dans la communauté scientifique, Duchenne décida de mettre au
point une technique de chocs électriques pour stimuler certains mouvements
musculaires faciaux. Il voulait aboutir à une meilleure compréhension
anatomique et physiologique du visage. Ses méthodes devaient lui permettre de
couvrir à la fois la nouvelle science psychologique et l’étude bien plus ancienne
des signes physiognomoniques, ou passions53. Il s’appuya sur les derniers
procédés photographiques, comme le collodion humide qui rendait possible un
temps d’exposition bien plus court, grâce auquel Duchenne pouvait figer en
images les mouvements musculaires et les expressions faciales fugaces54.
Même à ces premiers stades, il ne s’agissait jamais de visages au naturel ou
d’expressions humaines qui surviennent en société, mais de
simulations
produites par l’application brutale d’électricité sur les muscles. Duchenne
croyait néanmoins que l’usage de la photographie et d’autres systèmes
techniques transformerait la représentation aléatoire en quelque chose
d’objectif et de probant, plus adapté à l’étude scientifique55. Dans
l’introduction de
L’expression des émotions chez l’homme et les animaux
, Darwin
a fait l’éloge des «magnifiques photographies56» de Duchenne de Boulogne, et
il en a reproduit certaines dans ses travaux. Puisque les émotions étaient des
occurrences temporaires, éphémères, la photographie donnait la faculté de
fixer, comparer et catégoriser leur expression visible sur le visage. Pourtant, les
images véridiques de Duchenne étaient largement fabriquées.
Ekman a suivi Duchenne en plaçant la photographie au centre de sa
pratique expérimentale57. Il considérait la photographie à effet ralenti (
slow
motion
) cruciale pour son approche, parce que de nombreuses expressions
faciales opèrent aux limites de la perception humaine. Le but était de trouver
des « micro-expressions » – les infimes mouvements musculaires du visage.
Selon lui, la durée des micro-expressions est «si courte qu’elles se situent au
seuil de la reconnaissance, sauf si on utilise la projection au ralenti58». Plus
tard, Ekman affirmera que n’importe qui pourrait apprendre à reconnaître les
micro-expressions, sans formation spécifique ni prise de vues au ralenti, en une
heure environ59. Mais si ces expressions sont trop rapides pour que les humains
les reconnaissent, comment peut-on les comprendre?60
L’un des ambitieux projets d’Ekman pour ses premières recherches était de
codifier un système de détection et d’analyse des expressions faciales61.
En1971, il publia une description de ce qu’il appelait la Facial Action Scoring
Technique (FAST). S’appuyant sur des photos posées, cette approche utilisait
six types émotionnels fondamentaux, en grande partie dérivés des intuitions
d’Ekman62. Mais la FAST se heurta vite à des problèmes quand d’autres
scientifiques parvinrent à générer des expressions faciales qui ne figuraient pas
dans sa typologie63. Ekman décida donc d’élaborer son prochain outil de
mesure sur la musculature faciale, rappelant les premières études de Duchenne
sur les électrochocs. Ekman identifia une quarantaine de contractions
musculaires distinctes sur le visage, et nomma les composantes fondamentales
de chaque expression faciale Action Unit64. Après avoir testé et validé leur
méthode, Ekman et Wallace Friesen publièrent en 1978 le Facial Action
Coding System (FACS) ; on utilise toujours largement les éditions mises à
jour65. Se servir de cet outil de mesure demandait beaucoup d’efforts: selon
Ekman, il fallait entre 75 et 100 heures pour former les utilisateurs à la
méthodologie FACS, et une heure pour évaluer et annoter une minute de
séquence faciale66.
Lors d’un colloque au début des années 1980, Ekman assista à une
présentation qui lui inspira une solution aux lourdes exigences du FACS :
recourir à des ordinateurs pour automatiser les mesures. Bien qu’il ne cite pas
l’auteur de la conférence dans ses mémoires, Ekman précise que le système
s’appelait Wizard et avait été développé à la Brunel University de Londres67. Il
s’agit sans doute de WISARD, un des premiers systèmes de reconnaissance
d’objets par apprentissage automatique, conçu par Igor Aleksander, qui utilisait
les réseaux de neurones à une époque où cette approche n’était pas à la mode68.
Selon certaines sources, WISARD a été entraîné avec une «base de données de
hooligans connus dans les stades de football», préfigurant l’utilisation actuelle
répandue des photos d’identité judiciaire pour entraîner les technologies de
reconnaissance faciale69.
Comme c’est dans les années1960que la reconnaissance faciale devint une
application fondatrice pour l’intelligence artificielle, il n’est pas surprenant que
les premiers chercheurs dans ce domaine aient fait cause commune avec
l’approche d’Ekman pour l’analyse des visages70. Ekman lui-même prétend
avoir joué un rôle actif pour définir les formes automatisées de reconnaissance
des affects, par le biais de ses vieilles connaissances dans les agences de défense
et de renseignement, du temps où il était financé par l’ARPA. Il contribua à
instaurer une concurrence officieuse entre deux équipes travaillant sur les
données FACS, et cela semble avoir eu un impact durable. Depuis, les deux
équipes en question sont devenues des acteurs majeurs en informatique
affective. L’une était composée de Terry Sejnowski et de son étudiante Marian
Bartlett, qui est elle-même une figure dans la science informatisée de la
reconnaissance des émotions et la principale scientifique chez Emotient,
racheté par Apple en201671. La seconde, implantée à Pittsburgh, avait à sa tête
Jeffrey Cohn, psychologue à l’Université de Pittsburgh, et Takeo Kanade,
éminent chercheur en vision par ordinateur chez Carnegie Mellon72. Ces deux
chercheurs ont poursuivi dans cette voie et ont développé le célèbre ensemble
de données Cohn-Kanade (CK) sur l’expression des émotions, ainsi que ses
descendants.
Le système FACS d’Ekman offrait deux choses essentielles aux futures
applications d’apprentissage automatique: un ensemble stable, discret et fini
d’étiquettes que les humains peuvent utiliser pour catégoriser des photos de
visages, et un système pour produire des mesures. Il promettait de retirer aux
artistes et aux romanciers la tâche délicate de représenter la vie intérieure pour
la ramener sous l’égide d’une rubrique rationnelle, connaissable et mesurable,
adaptée aux laboratoires, aux entreprises et aux gouvernements.
CAPTURER LES SENTIMENTS, OU L’ARTIFICE DES ÉMOTIONS JOUÉES
Quand le travail sur l’usage des ordinateurs pour la reconnaissance des affects
commença à prendre forme, les chercheurs comprirent le besoin d’une
collection d’images standardisées pour procéder à des expériences. En1992, un
rapport de la National Science Foundation, dont Ekman était co-auteur,
concluait qu’une «base de données multimédia, aisément accessible, partagée
par toute la communauté de la recherche faciale, serait une ressource
importante pour la résolution et l’extension des questions concernant la
compréhension des visages73 ». Moins d’un an après, le Département de la
Défense se mit à financer le programme FERET pour collecter des
photographies faciales, comme nous l’avons vu au chapitre3. À la fin de la
décennie, les chercheurs en apprentissage automatique avaient commencé à
assembler, étiqueter et rendre publics les ensembles de données désormais au
cœur de la recherche en apprentissage automatique.
Les directives FACS d’Ekman ont directement façonné l’ensemble de
données CK74. Suivant la tradition des expressions faciales posées,
« l’expérimentateur demandait aux sujets de mimer une série
de 23 manifestations faciales », que les experts FACS encodaient ensuite,
fournissant des étiquettes aux données. L’ensemble de données CK permettait
aux laboratoires de tester leurs résultats et de comparer leurs progrès à mesure
qu’ils construisaient de nouveaux systèmes de reconnaissance des expressions.
D’autres labos et entreprises travaillaient sur des projets parallèles, créant des
dizaines de bases de données photographiques. Par exemple, les chercheurs
d’un labo suédois créèrent Karolinska Directed Emotional Faces. Cette base de
données est composée d’images d’individus qui miment des expressions
émotionnelles correspondant aux catégories d’Ekman75. Ils font prendre à leur
visage les formes qui s’accordent avec les six états émotionnels fondamentaux.
Quand on regarde ces ensembles d’entraînement, il est difficile de ne pas être
frappé par leur extrémisme :
Surprise incroyable ! Joie débordante ! Peur
paralysante!
Les sujets fabriquent littéralement des émotions lisibles par les
machines.
Quand le domaine gagna en échelle et en complexité, il en alla de même des
types de photographie utilisés en reconnaissance des affects. Les chercheurs se
mirent à employer le système FACS pour étiqueter des données générées non
plus grâce à des expressions posées, mais à partir d’expressions faciales
spontanées, parfois recueillies hors des conditions de laboratoire. Ainsi, dix ans
après la publication très remarquée de l’ensemble de données CK, un groupe
de chercheurs en publia la deuxième génération, l’Extended Cohn-Kanade
(CK+) Dataset76. CK+ incluait la gamme habituelle d’expressions posées, mais
également des expressions «non posées» ou spontanées, tirées de vidéos où les
sujets prenaient des expressions faciales indépendamment de toute suggestion.
En2009, le MIT Media Lab lança Affectiva, dont le but était de capturer
des « expressions faciales naturelles et spontanées » dans la vraie vie77.
L’entreprise collectait des données en permettant aux utilisateurs d’entrer dans
un système qui enregistrait leur visage avec une webcam tandis qu’ils
regardaient une série de publicités. Ces images étaient ensuite étiquetées avec
un logiciel dédié par des codeurs formés au système FACS d’Ekman78. C’est là
que nous rencontrons un nouveau problème de circularité. Le FACS avait été
développé à partir des abondantes archives de photographies posées constituées
par Ekman79. Même quand les images sont collectées dans un cadre naturel,
elles sont généralement classées selon un modèle dérivé d’images posées.
Le travail d’Ekman a eu une profonde influence sur tout, des logiciels de
détection de mensonges à la vision par ordinateur. Le
New York Times
a
présenté Ekman comme «le plus célèbre lecteur de visages au monde», et le
magazine
Time
l’a cité parmi les cent personnes les plus influentes dans le
monde. Il allait être en concertation avec des clients aussi divers que le Dalaï
Lama, le FBI, la CIA, le Secret Service des États-Unis, et même les studios
d’animation Pixar, qui voulaient créer des visages plus réalistes pour les
personnages de dessins animés80. Ses idées ont été assimilées par la culture
populaire, dans des best-sellers comme
La Force de l’intuition
de Malcolm
Gladwell, ou dans la série télévisée
Lie to Me
, où Ekman a été consultant pour
le rôle du personnage principal, librement inspiré de lui, semble-t-il81.
Ses affaires ont aussi prospéré: Ekman a vendu des techniques de détection
de la fraude à des agences de sécurité comme la TSA (Transportation Security
Administration), qui s’en servit pour développer son programme SPOT
(Screening of Passengers by Observation Techniques). On a employé SPOT
pour surveiller l’expression faciale des voyageurs aériens dans les années qui ont
suivi les attentats du11septembre, afin de détecter «automatiquement» les
terroristes. Le système utilise un ensemble de94critères, qui sont tous censés
être des signes de stress, de peur ou de tromperie. Mais rechercher ces réactions
signifiait que certains groupes étaient d’emblée désavantagés. Toute personne
stressée, mal à l’aise lors d’un interrogatoire, ou ayant eu une expérience
négative avec la police ou les gardes-frontière, pouvait se détacher du lot. Ce
système a généré ses propres formes de profilage racial. Le Government
Accountability Office et les groupes de défense des libertés civiles ont dénoncé
le programme SPOT pour son manque de méthodologie scientifique et,
malgré ses 900 millions de dollars de budget, pour son manque avéré de
résultats82.
LES NOMBREUSES CRITIQUES DES THÉORIES D’EKMAN
À mesure que la renommée d’Ekman grandissait, le scepticisme à l’égard de son
travail s’amplifiait aussi, des critiques apparaissant dans un certain nombre de
domaines. L’anthropologue Margaret Mead fut l’une des premières à critiquer
Ekman sur la question de l’universalité des émotions à fin des années1960,
entraînant des échanges virulents, non seulement entre Mead et Ekman, mais
aussi parmi d’autres anthropologues qui remettaient en cause l’idée
d’universalité absolue d’Ekman83. Mead n’était pas convaincue par la foi
d’Ekman en l’existence de déterminants universels et biologiques du
comportement, plutôt qu’en des facteurs culturels84. Ekman avait notamment
tendance à fondre toutes les émotions en un système binaire simplifié à
l’extrême et exclusif: les émotions étaient universelles ou ne l’étaient pas. Pour
Mead et d’autres critiques, des positions plus nuancées étaient possibles85.
Mead a adopté une posture intermédiaire, en soulignant qu’il n’existait pas de
contradiction intrinsèque entre «la possibilité que les êtres humains partagent
un noyau de comportements innés […] et l’idée que les expressions
émotionnelles puissent,
en même temps
, être fortement conditionnées par des
facteurs culturels86».
Des scientifiques d’autres domaines se joignirent au chœur au fil des
décennies. Plus récemment, les psychologues James Russell et José-Miguel
Fernández-Dols ont montré que les aspects les plus fondamentaux de cette
science n’étaient pas résolus: «Les questions les plus fondamentales, comme
celle de savoir si les “expressions faciales de l’émotion” expriment réellement les
émotions, restent des sujets de grande controverse87.» Maria Gendron et Lisa
Feldman Barrett, spécialistes des sciences sociales, ont signalé les dangers
spécifiques aux théories d’Ekman utilisées dans l’industrie de l’IA parce que la
détection automatique des expressions faciales n’indique pas de manière fiable
un état mental interne88. Comme le remarque Barrett, «les entreprises peuvent
dire ce qu’elles veulent, mais les données sont claires. On peut détecter un
froncement de sourcils, mais ce n’est pas la même chose que de détecter la
colère89».
Plus troublant encore, dans le domaine de l’étude des émotions, il n’y a pas
de consensus parmi les chercheurs sur ce qu’est véritablement une émotion.
Quelles sont les émotions, comment elles sont formulées en nous et exprimées,
ce que seraient leurs fonctions physiologiques ou neurobiologiques, leur
relation aux stimuli, voire comment les définir : tout reste obstinément
irrésolu90.
Mais la critique majeure de la théorie des émotions d’Ekman est sans doute
celle de l’historienne des sciences Ruth Leys. Dans
The Ascent of Affect
, elle
démonte point par point «les implications du présupposé physiognomonique
fondamental qui sous-tend le travail d’Ekman […], à savoir l’idée qu’il est
possible de maintenir une distinction stricte entre les expressions authentiques
et artificielles des émotions, en se fondant sur les différences entre le visage que
nous faisons quand nous sommes seuls et celui que nous faisons quand nous
sommes en compagnie91». Leys constate une circularité fondamentale dans la
méthode d’Ekman. D’une part, les photographies posées ou simulées qu’il
utilisait étaient censées exprimer un ensemble d’états affectifs basiques, «déjà
libres de toute influence culturelle92 ». D’autre part, ces photos ont servi à
inspirer des étiquettes identiques à différentes populations pour démontrer
l’universalité des expressions faciales. Leys met le doigt sur un grave problème:
Ekman estimait que «les expressions faciales sur les photographies dont il se
servait dans ses expérimentations étaient dépourvues de toute influence
culturelle parce qu’elles étaient universellement reconnues. Et en même temps,
il suggérait que ces expressions faciales étaient universellement reconnues parce
qu’elles étaient dépourvues de toute influence culturelle93 ». L’approche est
fondamentalement récursive94.
D’autres problèmes apparurent quand les idées d’Ekman furent mises en
œuvre dans des systèmes techniques. Comme nous l’avons vu, de nombreux
ensembles de données sous-jacents dans ce domaine reposent sur des acteurs
simulant des états émotionnels, jouant pour la caméra. Cela signifie que les
systèmes d’IA sont entraînés à reconnaître des expressions de sentiment feintes.
Bien que les systèmes d’IA prétendent avoir accès à une « vérité terrain »
(
ground truth
) quant aux états intérieurs naturels, ils sont entraînés avec du
matériau qui est inévitablement fabriqué. Même pour les images capturées de
personnes réagissant à des publicités ou à des films, ces personnes sont
conscientes d’être observées, ce qui peut modifier leur réaction.
La difficulté d’automatiser le lien entre mouvements faciaux et catégories
émotionnelles de base conduit à la question plus large de savoir si les émotions
peuvent être adéquatement regroupées en un petit nombre de catégories
discrètes95. Ce point de vue remonte à Tomkins, pour qui « chaque type
d’émotion peut être identifié par une réaction signature plus ou moins unique
dans le corps96». Mais on manque de preuves cohérentes. Des psychologues
ont passé en revue les témoignages publiés, et n’ont trouvé parmi les réactions
mesurables aucune association avec les états émotionnels qu’ils supposent
exister97. Enfin reste le problème tenace que les expressions faciales peuvent ne
pas indiquer grand-chose sur notre vrai état intérieur, comme le confirmera
quiconque a déjà souri sans se sentir vraiment content98.
Aucune de ces importantes questions concernant la base des affirmations
d’Ekman n’a empêché ses travaux d’obtenir un rôle privilégié dans les
applications actuelles de l’IA. Malgré des décennies de controverse scientifique,
des centaines d’articles citent sa conception des expressions faciales
interprétables comme si c’était un fait qui n’a rien de problématique. Rares
sont les informaticiens qui admettent cette littérature de l’incertitude. Mais
Arvid Kappas, chercheur en informatique affective, évoque sans ambages le
manque de consensus scientifique : « Nous en savons trop peu sur les
modulateurs sociaux complexes de l’activité faciale, ou d’autres activités
expressives, dans de telles situations pour pouvoir mesurer l’état émotionnel de
façon fiable à partir du comportement expressif.
Ce n’est pas un problème
d’ingénierie qui pourrait être résolu avec un meilleur algorithme
99. »
Contrairement à beaucoup de chercheurs qui soutiennent avec assurance la
reconnaissance des affects, Kappas conteste la conviction selon laquelle c’est
une bonne idée pour un ordinateur d’essayer de discerner les émotions100.
Plus les chercheurs d’autres horizons se consacrent à l’analyse des travaux
d’Ekman, plus les preuves à charge s’accumulent. En 2019, Lisa Feldman
Barrett a dirigé une équipe de recherche qui a procédé à une analyse quasi
exhaustive de la littérature sur la déduction des émotions d’après les expressions
faciales. Ils en ont conclu que les expressions faciales sont loin d’être
incontestables et qu’elles ne sont «ni des “empreintes digitales” ni un écran de
diagnostic» qui indiquent de manière fiable les états émotionnels, sans parler
des différences à travers les cultures et les contextes. En s’appuyant sur les
démonstrations disponibles, l’équipe a constaté qu’« il est impossible de
déduire avec certitude le bonheur d’après un sourire, la colère d’après une
moue, ou la tristesse d’après un froncement de sourcils, comme tente de le faire
la majeure partie de la technologie actuelle en appliquant ce qu’elle croit à tort
être des faits scientifiques101».
L’équipe de Barrett reprochait aux entreprises d’IA de prétendre pouvoir
automatiser la déduction des émotions : « Les firmes technologiques, par
exemple, dépensent des millions de dollars en recherche pour construire des
dispositifs capables de lire les émotions sur les visages, adoptant l’erreur
commune comme si c’était un fait solidement étayé par la science […]. En fait,
notre examen des preuves scientifiques indique qu’on sait très peu de choses
sur pourquoi et comment certains mouvements faciaux expriment certaines
émotions, en particulier à un niveau de détail suffisant pour que de telles
conclusions puissent être utilisées par des applications importantes dans le
monde réel102.»
Malgré toutes ces critiques, pourquoi la «lecture des émotions» à partir du
visage persiste-t-elle ? En analysant l’histoire de ces idées, on entrevoit
comment le financement de la recherche militaire, les priorités sécuritaires et
les motivations financières ont façonné le domaine. Depuis les années 1960,
grâce aux fonds considérables du département américain de la Défense, des
systèmes toujours plus précis pour mesurer les mouvements du visage ont été
mis au point. Dès qu’est apparue la théorie selon laquelle on peut évaluer les
états internes en mesurant les mouvements faciaux et qu’a été conçue la
technologie permettant de les mesurer, les gens en ont volontiers adopté le
présupposé sous-jacent. La théorie correspondait à ce que les outils pouvaient
faire. Les théories d’Ekman semblaient idéales pour le domaine émergent de la
vision par ordinateur, parce qu’elles pouvaient être automatisées à grande
échelle.
De puissantes entreprises et institutions ont investi dans la validité des
théories et des méthodologies d’Ekman. Reconnaître que les émotions ne sont
pas faciles à classer, ou qu’elles ne sont pas détectables de façon fiable à partir
des expressions du visage, saperait un secteur en pleine expansion. Dans le
domaine de l’IA, Ekman est fréquemment invoqué comme si l’affaire était
entendue, avant de passer directement aux défis en termes d’ingénierie. Les
questions plus complexes, de contexte, de conditionnement, de relationnalité
et de facteurs culturels sont difficiles à concilier avec les approches
disciplinaires de l’informatique ou avec les ambitions commerciales du secteur
tech. Les catégories émotionnelles de base d’Ekman sont donc devenues
standard. Des approches plus subtiles, comme le juste milieu de Mead, ont été
largement négligées. On a surtout cherché à améliorer le taux de précision des
systèmes d’IA, au lieu de s’interroger sur les nombreuses manières dont nous
ressentons, montrons ou cachons les émotions et dont nous interprétons les
expressions faciales d’autrui.
Comme l’écrit Barrett, «beaucoup des modèles les plus influents dans nos
sciences supposent que les émotions sont des catégories biologiques imposées
par la nature, de sorte que les catégories d’émotion sont
reconnues
–plutôt que
construites – par l’esprit humain103 ». Les systèmes IA de détection des
émotions reposent sur cette idée. La reconnaissance pourrait ne pas du tout
être un cadre adéquat pour concevoir les émotions, parce qu’elle suppose que
les catégories émotionnelles sont des acquis plutôt que des réalités mouvantes
et relationnelles.
POLITIQUE DES VISAGES
Au lieu de construire davantage de systèmes capables de grouper les expressions
au sein de catégories lisibles par les machines, nous devrions sonder l’origine
même de ces catégories, ainsi que leurs conséquences politiques et sociales. Les
outils de reconnaissance des affects ont déjà été déployés dans des attaques
politiques. Par exemple, un blog conservateur a prétendu avoir créé un
« système de polygraphe virtuel » pour évaluer des vidéos d’Ilhan Abdullahi
Omar, membre du Congrès104. En se servant des fonctionnalités d’analyses du
visage et du langage d’Amazon Rekognition, de XRVision Sentinel AI et de
Watson d’IBM, le blogueur affirmait que le score d’Omar en matière de
mensonges dépassait sa «base de vérité» et qu’elle atteignait aussi des sommets
de stress, de mépris et de nervosité. Plusieurs médias conservateurs ont repris
ces allégations, qualifiant Omar de « menteuse pathologique» et de menace
pour la sécurité de la nation105.
On sait que ces systèmes identifient les affects du langage des femmes
différemment de ceux des hommes, en particulier dans le cas des non-
Blanches. Comme nous l’avons vu au chapitre 3, la construction d’une
« moyenne » à partir de données d’entraînement non représentatives est
d’emblée épistémologiquement suspecte, chargée de biais raciaux évidents. Une
étude réalisée à l’Université du Maryland a montré que certains logiciels de
reconnaissance faciale attribuent aux visages noirs des émotions plus négatives
qu’aux visages blancs, les considèrent comme plus en colère et plus méprisants,
et contrôlant même leur degré de sourire106.
C’est le danger des outils de reconnaissance des affects. Ils nous ramènent au
passé phrénologique, quand des allégations infondées étaient formulées,
acceptées et déployées pour soutenir des systèmes de pouvoir en place. Les
décennies de controverses scientifiques autour des émotions déduites de visages
humains soulignent un point central : le modèle unique de reconnaissance
n’est pas la bonne métaphore pour identifier les états émotionnels. Les
émotions sont complexes, elles évoluent en relation avec notre famille, nos
amis, notre culture et notre histoire, tous ces contextes existant hors du cadre
IA. Dans de nombreux cas, les systèmes de détection des émotions ne font pas
ce qu’ils prétendent. Au lieu de mesurer directement les états mentaux
intérieurs, ils se contentent d’optimiser statistiquement les corrélations de
certaines caractéristiques physiques parmi les images faciales. Alors que les
fondements scientifiques de la détection automatique des émotions posent
problème, une nouvelle génération d’outils procède déjà à des inférences dans
de plus en plus de domaines à enjeux élevés, pour la police ou pour
l’embauche.
Même si le manque de fiabilité de la détection des affects paraît clair, les
entreprises continuent à chercher de nouvelles sources d’imagerie faciale,
rivalisant pour remporter la plus grosse part de marché d’un secteur qui promet
des milliards de profits. Barrett conclut son examen systémique des recherches
sur cette note fatale: «Plus généralement, les entreprises tech posent peut-être
une question qui est fondamentalement mauvaise. Les efforts visant
simplement à “lire” les états internes des gens d’après l’analyse de leurs seuls
mouvements faciaux, sans prendre en compte les différents aspects contextuels,
sont au mieux incomplets, au pire totalement dénués de validité, si
sophistiqués que soient les algorithmes computationnels […]. Il est prématuré
d’utiliser cette haute technologie pour parvenir à des conclusions sur ce que les
gens ressentent d’après leurs mouvements faciaux107».
Si nous cédons au désir d’automatiser la reconnaissance des affects, nous
risquons de juger injustement des candidats à l’embauche parce que leurs
micro-expressions ne coïncident pas avec celles d’autres employés, de sous-
noter certains étudiants parce que leur visage indique un manque
d’enthousiasme, et d’arrêter des consommateurs parce qu’un système d’IA les a
identifiés comme des voleurs potentiels, sur la base de leurs indices faciaux108.
Tous ces gens feront les frais de systèmes qui sont à la fois techniquement
imparfaits et fondés sur des méthodologies contestables.
Les zones de la vie où opèrent ces systèmes s’étendent aussi vite que les labos
et les entreprises peuvent créer de nouveaux marchés pour eux. Pourtant tous
reposent sur une compréhension étroite des émotions–dérivée de l’ensemble
initial d’Ekman, colère, bonheur, surprise, dégoût, tristesse et peur–en lieu et
place de l’univers infini des sentiments humains et de leur expression dans
l’espace et le temps. Cela nous ramène aux profondes limites de la capture des
complexités du monde au sein d’un unique schéma de classification. Le même
problème se répète : le désir de simplifier à l’excès ce qui est obstinément
complexe, afin de le rendre computable et de le conditionner pour le marché.
Les systèmes d’IA cherchent à extraire les expériences changeantes, intimes,
divergentes de notre moi corporel, mais le résultat est une esquisse caricaturale
qui ne saurait refléter les nuances du vécu émotionnel dans le monde.
1Je remercie tout particulièrement Alex Campolo, qui a été mon assistant de
recherche et mon interlocuteur pour ce chapitre, ainsi que pour ses
recherches sur Ekman et l’histoire des émotions.
2MarketWatch, «Emotion Detection and Recognition»; Schwartz, «Don’t
Look Now».
3Ohtake, «Psychologist Paul Ekman Delights at Exploratorium».
4Ekman,
Emotions Revealed
, p.7.
5Pour une vue d’ensemble de la recherche contestant l’idée que les expressions
émotionnelles sont universelles et prédictibles par l’IA, voir Heaven, «Why
Faces Don’t Always Tell the Truth».
6Barrett
et al
., «Emotional Expressions Reconsidered».
7Nilsson, «How AI Helps Recruiters».
8Sánchez-Monedero et Dencik, «The Datafication of the Workplace», p.48;
Harwell, «A Face-Scanning Algorithm».
9Byford, «Apple Buys Emotient».
10Molnar, Robbins et Pierson, «Cutting Edge».
11Picard, «Affective Computing Group».
12«Affectiva Human Perception AI Analyzes Complex Human States».
13Schwartz, «Don’t Look Now».
14Voir, par exemple, Nilsson, «How AI Helps Recruiters».
15«API Face: Service d’intelligence artificielle qui analyse les visages dans les
images».
16 « Amazon Rekognition améliore l’analyse faciale » ; « Amazon
Rekognition–Vidéo et Image».
17Barrett
et al
., «Emotional Expressions Reconsidered», p.1.
18Sedgwick, Frank et Alexander,
Shame and Its Sisters
, p.258.
19Tomkins,
Affect Imagery Consciousness
.
20
Ibid
., p.3.
21Leys,
The Ascent of Affect
, p.18.
22Tomkins,
Affect Imagery Consciousness
, p.23.
23
Ibid
.
24
Ibid
.
25Pour Ruth Leys, cette «dissociation radicale entre sentiment et cognition»
est la raison majeure de son attrait pour les théoriciens des sciences
humaines, notamment pour Eve Kosofsky Sedgwick, qui entend revaloriser
notre expérience de l’erreur ou de la confusion en tant que nouvelle forme
de liberté. Leys,
The Ascent of Affect
, p.35; Sedgwick,
Touching Feeling
.
26Tomkins,
Affect Imagery Consciousness
, p.204.
27
Ibid
., p. 206 ; Darwin,
L’Expression des émotions chez l’homme et les
animaux
; Duchenne de Boulogne,
Mécanisme de la physionomie humaine
.
28Tomkins, p.243, cité dans Leys,
The Ascent of Affect
, p.32.
29Tomkins,
Affect Imagery Consciousness
, p.216.
30Ekman,
Nonverbal Messages
, p.45.
31Tuschling, «The Age of Affective Computing», p.186.
32Ekman,
Nonverbal Messages
, p.45.
33
Ibid
., p.46.
34
Ibid
.
35
Ibid
.
36
Ibid
.
37
Ibid
.
38Ekman et Rosenberg,
What the Face Reveals
, p.375.
39Tomkins et McCarter, «What and Where Are the Primary Affects?».
40 Russell, « Is There Universal Recognition of Emotion from Facial
Expression?», p.116.
41Leys,
The Ascent of Affect
, p.93.
42Ekman et Rosenberg,
What the Face Reveals
, p.377.
43Ekman, Sorenson et Friesen, «Pan-Cultural Elements in Facial Displays of
Emotion», p.86-87.
44Ekman et Friesen, «Constants across Cultures in the Face and Emotion»,
p.128.
45Aristote
, Organon III. Les Premiers Analytiques
70b8-13.
46Pseudo-Aristote,
Physiognomica
, 805a, 27-30.
47Il serait difficile d’exagérer l’influence de cet ouvrage, qui par la suite a été
discrédité : en 1810, il avait connu 16 éditions en Allemagne et 20 en
Angleterre. Graham, «Lavater’s Physiognomy in England», p.561.
48Gray,
About Face
, p.342.
49Courtine et Haroche,
Histoire du visage
, p.132.
50Ekman, «Duchenne and Facial Expression of Emotion».
51Duchenne de Boulogne,
Mécanisme de la physionomie humaine
.
52Clarac, Massion et Smith, «Duchenne, Charcot and Babinski», p.362-
363.
53Delaporte,
Anatomie des passions
, p.41.
54
Ibid
., p.58-61.
55Daston et Galison,
Objectivité
.
56Darwin,
L’Expression des émotions chez l’homme et les animaux
, p.12.
57Leys,
The Ascent of Affect
, p.85; Russell, «Is There Universal Recognition
of Emotion», p.114.
58Ekman et Friesen, «Nonverbal Leakage and Clues to Deception», p.93.
59Pontin, «Lie Detection».
60Ekman et Friesen, «Nonverbal Leakage and Clues to Deception», p.94.
Dans une note de bas de page, Ekman et Friesen expliquent: «Nos propres
recherches et l’apport de la neurophysiologie de la perception visuelle
suggèrent fortement que des micro-expressions aussi brèves qu’une image de
film (1/50e de seconde) peuvent être perçues. Si ces micro-expressions
passent en général inaperçues, c’est parce qu’elles sont enchâssées dans
d’autres expressions qui distraient l’attention, du fait de leur rareté, ou d’une
habitude perceptive acquise qui consiste à ignorer les expressions faciales
rapides».
61Ekman, Sorenson et Friesen, «Pan-Cultural Elements in Facial Displays of
Emotion», p.87.
62Ekman, Friesen et Tomkins, «Facial Affect Scoring Technique», p.40.
63Ekman,
Nonverbal Messages
, p.97.
64
Ibid
., p.102.
65Ekman et Rosenberg,
What the Face Reveals
.
66Ekman,
Nonverbal Messages
, p.105.
67
Ibid
., p.169.
68
Ibid
., p.106; Aleksander,
Artificial Vision for Robots
.
69«Magic from Invention».
70Bledsoe, «The Model Method in Facial Recognition».
71Molnar, Robbins et Pierson, «Cutting Edge».
72Kanade,
Computer Recognition of Human Faces
.
73
Ibid
., p.16.
74 Kanade, Cohn et Tian, « Comprehensive Database for Facial Expression
Analysis», p.6.
75Voir Kanade, Cohn et Tian; Lyons
et al
., «Coding Facial Expressions with
Gabor Wavelets»; et Goeleven
et al
., «The Karolinska Directed Emotional
Faces».
76Lucey
et al
., «Extended Cohn-Kanade Dataset (CK+)».
77McDuff
et al.
, «Affectiva-MIT Facial Expression Dataset (AM-FED)».
78
Ibid
.
79Ekman et Friesen,
Facial Action Coding System (FACS)
.
80 Foreman, « A Conversation with : Paul Ekman » ; Taylor, « The
2009Time100»; Paul Ekman Group.
81Weinberger, «Airport Security».
82Halsey, «House Member Questions $900Million TSA “SPOT” Screening
Program».
83Ekman, «A Life’s Pursuit»;
Nonverbal Messages
, p.79-81.
84Mead, «Review of
Darwin and Facial Expression
», p.209.
85Tomkins,
Affect Imagery Consciousness
, p.216.
86 Mead, « Review of
Darwin and Facial Expression
», p. 212. Voir aussi
Fridlund, «A Behavioral Ecology View of Facial Displays». Ekman a plus
tard concédé de nombreux points à Mead. Voir Ekman, « Argument for
Basic Emotions » ;
Emotions Revealed
; et « What Scientists Who Study
Emotion Agree About». Ekman avait aussi ses défenseurs. Voir Cowen
et
al
., « Mapping the Passions » ; et Elfenbein et Ambady, « On the
Universality and Cultural Specificity of Emotion Recognition».
87Fernández-Dols et Russell,
The Science of Facial Expression
, p.4.
88Gendron et Barrett, «Facing the Past», p.30.
89Vincent, «AI “Emotion Recognition” Can’t Be Trusted». Les spécialistes
du handicap remarquent aussi que les présupposés sur le fonctionnement de
la biologie et du corps peuvent faire redouter certains biais, surtout quand ils
sont automatisés par la technologie. Voir Whittaker et al., «Disability, Bias,
and AI».
90Izard, «The Many Meanings/Aspects of Emotion».
91Leys,
The Ascent of Affect
, p.22.
92
Ibid
., p.92.
93
Ibid
., p.94.
94
Ibid
.
95Barrett, «Are Emotions Natural Kinds?», p.28.
96Barrett, p.30.
97Voir, par exemple, Barrett
et al
., «Emotional Expressions Reconsidered».
98
Ibid
., p.40.
99Kappas, «Smile When You Read This», p.39(c’est moi qui souligne).
100
Ibid
., p.40.
101Barrett
et al
., «Emotional Expressions Reconsidered», p.46.
102
Ibid
., p.47-48.
103
Ibid
., p.47(c’est moi qui souligne).
104Apelbaum, «One Thousand and One Nights».
105Voir, par exemple, Hoft, «Facial, Speech and Virtual Polygraph Analysis».
106Rhue, «Racial Influence on Automated Perceptions of Emotions».
107Barrett
et al
., «Emotional Expressions Reconsidered», p.48.
108Voir, par exemple, Connor, «Chinese School Uses Facial Recognition»;
et Du et Maki, «These Cameras Can Spot Shoplifters».
6
L’État
Je suis assise devant un ordinateur portable en mode sécurisé, au neuvième
étage d’un entrepôt new-yorkais. Sur l’écran, un logiciel normalement utilisé
en criminalistique numérique, un outil destiné à enquêter sur les preuves et à
valider les informations contenues dans les disques durs. Je suis ici pour trouver
dans des archives les détails les plus spécifiques sur la façon dont l’apprentissage
automatique a commencé à servir dans le secteur du renseignement, pour le
compte de certains des gouvernements les plus riches du monde. Ce sont les
archives Snowden : tous les documents, présentations PowerPoint, mémos
internes, newsletters et manuels techniques que l’ex-prestataire de la NSA et
lanceur d’alerte Edward Snowden a divulgués en2013. Chaque page porte un
en-tête notifiant les différentes formes de classification. TOP SECRET // SI //
ORCON // NOFORN1. Autant d’avertissements et de désignations.
La réalisatrice Laura Poitras m’a donné accès à ces archives pour la première
fois en 2014. C’était incroyable : plus d’une décennie de réflexion et de
communications en matière de renseignement, y compris des documents
internes de la National Security Agency (NSA) aux États-Unis, du
Government Communication Headquarters (GCHQ) au Royaume-Uni, et de
l’alliance internationale Five Eyes2. Cela n’était strictement accessible qu’aux
personnes bénéficiant d’une habilitation de sécurité de haut niveau. Il s’agissait
d’une partie de «l’empire classifié» de l’information, dont on estimait autrefois
qu’il augmentait cinq fois plus vite que l’information publiquement
accessible – mais aujourd’hui, difficile de le savoir3. Les archives Snowden
reflètent les années où la collecte de données s’est métastasée : quand les
téléphones, les navigateurs, les plateformes de médias sociaux et les courriels
sont tous devenus des sources de données pour l’État. Les documents révèlent
comment la communauté du renseignement a contribué à la mise au point de
nombreuses techniques que nous désignons aujourd’hui sous l’appellation
d’intelligence artificielle.
Les archives Snowden révèlent un secteur parallèle de l’IA développé dans le
secret. Les méthodes partagent beaucoup de similitudes, mais il existe des
différences frappantes en termes de portée, d’objectifs et de résultat. Il n’y a
plus de constructions rhétoriques pour justifier l’extraction et la capture :
chaque système logiciel n’est décrit que comme une chose à posséder, à
vaincre ; toutes les plateformes de données sont des cibles légitimes, et
pratiquement plus rien n’est protégé. Un PowerPoint de la NSA présente
TreasureMap, un programme conçu pour créer une carte interactive d’Internet
en temps quasi réel4. Ce programme certifie suivre la localisation et le
propriétaire de tout ordinateur connecté, appareil mobile ou routeur :
«Cartographiez la totalité d’Internet–n’importe quel appareil, n’importe où,
n’importe quand », vante le slogan. Des diapos sur « TreasureMap comme
Facilitateur» exposent le millefeuilles de l’analyse des signaux. Au-dessus de la
couche géographique et de la couche réseau, il y a la « couche cyber-
persona » – étrangement représentée par des iMac et des portables Nokia
première génération–, puis la «couche persona» des connexions individuelles.
Cette modélisation vise à représenter tous les utilisateurs d’appareils connectés
à travers le monde, dans une «vue surplombante d’Internet». Elle ressemble
aussi beaucoup au travail d’entreprises de cartographie et de manipulation des
réseaux sociaux comme Cambridge Analytica.
Les documents de Snowden ont été divulgués en 2013, mais on croit
toujours lire les brochures marketing pour l’IA aujourd’hui. Si TreasureMap a
été un précurseur de la vision omnisciente du réseau Facebook, alors le
programme FoxAcid rappelle les caméras Ring d’Amazon pour les ordinateurs
personnels, qui enregistrent l’activité quotidienne5. «Si nous pouvons faire en
sorte que la cible nous rende visite dans une sorte de navigateur, nous pouvons
probablement nous l’approprier», explique la diapo6. Une fois qu’un individu
a bien voulu cliquer sur un spam ou visiter un site piraté, la NSA dépose par le
biais d’un navigateur des fichiers qui vivront définitivement sur son appareil et
qui transmettront discrètement à leur base tout ce que fait l’utilisateur. Une
autre diapo explique comment les analystes « emploient des courriels très
ciblés» qui nécessitent «un niveau de connaissances illégitimes» concernant la
cible7. Il est rarement question des restrictions de la NSA en matière de
collecte de ces connaissances illégitimes (du moins quand il s’agit de données
provenant de citoyens américains). Un document indique que l’agence
travaillait sur plusieurs fronts pour «trouver activement des autorités juridiques
et un cadre politique pleinement conformes à l’ère de l’information8 ».
Autrement dit, modifier les lois pour les adapter aux outils, et non l’inverse.
Les agences américaines de renseignement sont la vieille garde du
big data
.
Avec la Defense Advanced Research Projects Agency, elles sont les principaux
pilotes de la recherche en IA depuis les années 1950. Comme le relate
l’historien des sciences Paul Edwards dans
Un monde clos
, les agences de
recherche militaires ont façonné dès le début le champ qui allait devenir celui
de l’IA9. L’Office of Naval Research, par exemple, a en partie financé le
premier Summer Research Project on Artifical Intelligence, au Dartmouth
College en 195610. Le champ de l’IA a toujours été fortement soutenu par
l’armée et souvent guidé par les priorités militaires, bien avant qu’il ne
devienne clair que l’IA pouvait se développer à grande échelle. Comme
l’observe Edwards:
En tant que projet ayant le moins d’utilité immédiate et les ambitions les
plus vastes, l’IA en est arrivée à dépendre massivement du financement de
l’ARPA. Par conséquent, l’ARPA est devenu le principal mécène des vingt
premières années de recherche en IA. Son ancien directeur Robert Sproull
a fièrement conclu que «toute une génération d’experts en informatique a
débuté grâce aux fonds de la DARPA » et que « toutes les idées qui
entrent dans le projet [d’informatique avancée] de cinquième génération
[du milieu des années 1980] – intelligence artificielle, calcul parallèle,
compréhension du discours, programmation en langage naturel – sont
finalement parties des recherches financées par la DARPA»11.
Les priorités militaires de commandement et de contrôle, d’automatisation
et de surveillance, ont profondément modelé ce que l’IA allait devenir. Les
outils et les approches issus du financement de la DARPA ont marqué le
domaine, notamment la vision par ordinateur, la traduction automatique et les
véhicules autonomes. Mais ces méthodes techniques ont des répercussions plus
graves. La logique globale de l’IA est imprégnée de certains types de pensée
classificatrice–depuis les notions explicitement axées sur le registre du champ
de bataille, comme la détection de cible, d’actifs, d’anomalies, jusqu’aux
catégories plus subtiles de risque faible, moyen ou élevé. Les concepts de
«conscience de la situation» et de ciblage constant régiraient l’IA pendant des
décennies, créant des cadres épistémologiques qui allaient modeler à la fois
l’industrie et le monde universitaire.
Du point de vue de l’État, le virage vers le
big data
et l’apprentissage
automatique a élargi les modes d’extraction de l’information et a façonné une
théorie sociale sur la façon dont les individus peuvent être tracés et compris:
vous les reconnaîtrez par leurs métadonnées
. Qui reçoit des textos, quels lieux
sont visités, ce qui est lu, quand les appareils se mettent en marche et pour
quelle raison : ces actions moléculaires sont devenues un instrument
d’identification et d’évaluation de la menace, de la culpabilité ou de
l’innocence. Collecter et mesurer de grands agrégats de données à distance est
désormais le moyen privilégié pour approfondir de prétendues connaissances
sur des groupes et des communautés, ou pour évaluer des cibles potentielles à
tuer. Il n’y a pas que la NSA et le GCHQ: la Chine, la Russie, Israël, la Syrie
et bien d’autres pays ont des agences similaires. Il existe de nombreux systèmes
souverains de surveillance et de contrôle, et une multitude de machines de
guerre qui ne ralentissent jamais. Les archives Snowden mettent en évidence
comment les acteurs étatiques et les entreprises collaborent pour provoquer ce
qu’Achille Mbembe appelle la «guerre infrastructurelle12».
Mais la relation entre les armées nationales et l’industrie de l’IA s’est étendue
au-delà du contexte sécuritaire. Les technologies autrefois réservées aux agences
de renseignement –
extra-légales
dans leur conception même – ont gagné
jusqu’aux autorités municipales de l’État: gouvernement et forces de l’ordre.
Alors que la NSA est au centre des préoccupations en matière de respect de la
vie privée, on accorde moins d’attention au secteur en pleine expansion de la
surveillance commerciale, qui vend de façon agressive ses outils et ses
plateformes auprès des services de police et des agences publiques. L’industrie
de l’IA conteste et redéfinit à la fois le rôle traditionnel des États, tout en
servant à consolider et élargir des formes plus anciennes de pouvoir
géopolitique. La gouvernance algorithmique fait partie de la gouvernance
étatique traditionnelle en même temps qu’elle la dépasse. Pour paraphraser le
théoricien Benjamin Bratton, l’État prend l’armature d’une machine parce que
la machine a déjà pris les rôles et le registre de l’État13.
MISE EN PLACE DE LA
THIRD OFFSET STRATEGY
L’histoire de la création d’Internet s’articule autour de l’innovation et de la
domination militaires et universitaires américaines14. Pourtant, dans l’espace de
l’IA, on voit qu’il n’existe aucun système purement national. Les systèmes d’IA
fonctionnent dans un réseau complexe entrelacé d’outils, de main-d’œuvre et
d’infrastructures multinationaux et multilatéraux. Prenons l’exemple du
système de reconnaissance faciale mis en service dans les rues de Belgrade15. Le
chef de la police a ordonné l’installation de2000caméras dans 800points de
la ville pour capturer les visages et les plaques d’immatriculation. Le
gouvernement serbe a signé un accord avec le géant chinois des
télécommunications Huawei pour fournir la vidéosurveillance, le support
réseau 4G et les centres de données et de commande. De tels accords sont
courants. Les systèmes locaux sont souvent hybrides, l’infrastructure provenant
de Chine, d’Inde, des États-Unis et d’ailleurs, avec des frontières poreuses, des
protocoles de sécurité différents, et des portes dérobées (
backdoors
) d’accès aux
données.
La rhétorique entourant l’intelligence artificielle est néanmoins beaucoup
plus tranchée: on nous répète sans cesse qu’une guerre de l’IA est engagée. Les
principaux sujets de préoccupation portent sur les efforts supranationaux des
États-Unis et de la Chine, dont on rappelle régulièrement sa volonté d’être le
leader mondial de l’IA16. En matière de données, les pratiques des principales
entreprises tech chinoises, dont Alibaba, Huawei, Tencent et ByteDance, sont
souvent présentées comme la politique directe de l’État chinois, et donc
considérées comme intrinsèquement plus menaçantes que les acteurs privés
américains tels qu’Amazon et Facebook, même si les lignes entre les impératifs
et les incitations de l’État et des entreprises se recoupent de manière complexe.
Cependant, le langage de la guerre est plus que l’expression courante de la
xénophobie, de la suspicion mutuelle, de l’espionnage international et du
piratage des réseaux. Comme l’ont constaté les spécialistes des médias Wendy
Chun et Tung-Hui Hu, la vision libérale d’un monde de citoyens numériques
s’engageant sur un pied d’égalité dans l’espace abstrait des réseaux s’est
transformée en une vision paranoïaque de défense d’un
cloud national
contre
l’ennemi racisé17. Le spectre de la menace étrangère sert à affirmer une sorte de
pouvoir souverain sur l’IA et à redéfinir le lieu de pouvoir des entreprises tech
(dont l’infrastructure et l’influence sont transnationales) dans les limites de
l’État-nation.
La course nationalisée à la supériorité en haute technologie est à la fois
rhétorique et concrète; elle crée la dynamique d’une concurrence géopolitique
dans les secteurs commerciaux et militaires, entre lesquels la limite est de plus
en plus floue. Le double usage des applications de l’IA dans les domaines civil
et militaire a aussi engendré de fortes incitations à la collaboration et aux
financements18. Aux États-Unis, on voit comment c’est devenu une stratégie
explicite: rechercher le contrôle national et la domination internationale de
l’IA pour s’assurer l’avantage militaire et économique.
L’incarnation la plus récente de cette stratégie est née sous Ash Carter,
secrétaire à la Défense des États-Unis de 2015à2017. Carter a joué un rôle
décisif pour resserrer les liens entre la Silicon Valley et l’armée, convainquant
les entreprises tech que la sécurité nationale et la politique étrangère
dépendaient de la domination américaine en IA19. Il l’a appelée Third Offset
Strategy (Troisième Stratégie de Compensation). Il faut comprendre
offset
comme un moyen de rattraper un désavantage militaire sous-jacent en
modifiant les conditions. Comme le disait l’ancien secrétaire à la Défense
Harold Brown en1981: «La haute technologie peut être un multiplicateur de
force, une ressource pour aider à compenser l’avantage numérique de
l’adversaire. Avoir une haute technologie supérieure est un moyen très efficace
d’équilibrer les capacités militaires autrement qu’en parvenant au même
nombre de chars ou de soldats20.»
La première Offset Strategy désigne de manière générale le recours aux
armes nucléaires dans les années195021, et la deuxième, l’expansion des armes
secrètes, logistiques et conventionnelles dans les années 1970 et 1980. La
troisième, selon Carter, devait combiner IA, guerre numérique et robots22.
Mais contrairement à la NSA, qui disposait déjà de solides capacités de
surveillance, l’armée était loin d’avoir les ressources, l’expertise et
l’infrastructure en IA des grandes entreprises tech américaines23. En2014, le
secrétaire adjoint à la Défense, Robert Work, a présenté la Third Offset comme
une tentative d’«exploitation de toutes les avancées en matière d’intelligence
artificielle et d’autonomie24».
Pour construire des machines de guerre IA, le Département de la Défense
allait avoir besoin d’infrastructures d’extraction gigantesques. L’accès à des
services d’ingénierie hautement rémunérés et des plateformes de
développement sophistiquées nécessitait donc un partenariat avec l’industrie.
La NSA avait ouvert la voie avec des systèmes comme PRISM, en travaillant
avec des entreprises de télécommunications et de haute technologie tout en les
infiltrant secrètement25. Mais après les révélations de Snowden, ces méthodes
dissimulées ont connu un retour de bâton politique. Le Congrès a adopté le
USA Freedom Act en2015, qui limite l’accès de la NSA aux données en temps
réel de la Silicon Valley. La possibilité d’un plus vaste complexe militaro-
industriel autour des données et de l’IA restait néanmoins à portée de main. La
Silicon Valley avait déjà construit et monétisé la logique et les infrastructures
d’IA requises pour une nouvelle compensation. Il n’y avait plus qu’à convaincre
le secteur technologique de l’intérêt d’un partenariat pour créer l’infrastructure
de la guerre, sans s’aliéner les employés ni aggraver la méfiance des citoyens.
LE PROJET MAVEN
En avril2017, le Département de la Défense publia un mémo annonçant la
création d’une équipe interfonctionnelle de guerre algorithmique, qui portait le
nom de code de Project Maven26. « Le Département de la Défense doit
intégrer plus efficacement l’intelligence artificielle et l’apprentissage
automatique dans l’ensemble de ses opérations pour conserver l’avantage sur
des adversaires et concurrents de plus en plus performants », écrivait le
secrétaire adjoint à la Défense27. Le but du programme était d’avoir les
meilleurs systèmes algorithmiques possibles sur le champ de bataille, même s’ils
n’étaient achevés qu’à 80 %28. Il s’inscrivait dans un plan beaucoup plus
ambitieux, le projet de cloud JEDI (Joint Enterprise Defense Infrastructure):
une reconfiguration de toute l’infrastructure informatique du Département de
la Défense, depuis le Pentagone jusqu’à l’appui sur le terrain. Le Projet Maven
n’était qu’une petite partie de ce vaste ensemble, avec pour but de créer un
système d’IA qui permettrait aux analystes de choisir une cible, puis de
visionner toutes les séquences filmées par des drones où figurait la même
personne ou le même véhicule29. En fin de compte, le Département de la
Défense voulait un moteur de recherche automatisé pour détecter et tracer les
combattants ennemis sur les vidéos de drones.
Les plateformes techniques et les compétences en apprentissage automatique
nécessaires pour le Projet Maven étaient réunies dans le secteur commercial de
la tech. Le Département de la Défense décida de payer des entreprises pour
analyser les données militaires collectées par des satellites ou des drones sur le
champ de bataille, là où les lois américaines sur la protection de la vie privée ne
s’appliquent pas. Ce qui alignerait les intérêts financiers de l’armée américaine
et ceux du secteur tech sur l’IA, sans déclencher les alarmes constitutionnelles
en matière de vie privée, comme la NSA l’avait fait. Une guerre de surenchères
a alors débuté parmi les entreprises qui voulaient décrocher le contrat Maven,
dont Amazon, Microsoft et Google.
Le premier contrat du Projet Maven a été attribué à Google. En vertu de cet
accord, le Pentagone utiliserait l’infrastructure d’IA de Google, TensorFlow,
pour passer au peigne fin les images des drones et détecter les objets et les
individus d’un endroit à un autre30. Fei-Fei Li, alors directrice scientifique de
l’IA et du Machine Learning chez Google, était déjà experte en construction
d’ensembles de données de reconnaissance d’objets, d’après son expérience de
création d’ImageNet et d’utilisation de données satellite pour détecter et
analyser les voitures31. Mais elle tenait impérativement à ce que le projet reste
secret. «Évitez À TOUT PRIX toute mention ou allusion à l’IA, a écrit Li dans un
courriel adressé à ses collègues chez Google, qui a ensuite fuité. L’IA dans
l’armement est probablement l’un des sujets les plus sensibles, sinon LE PLUS
sensible dans ce domaine. C’est du pain béni pour les médias qui cherchent par
tous les moyens à nuire à Google32.»
Mais en 2018, les employés de Google découvrirent l’ampleur du rôle de
l’entreprise dans ce projet. Ils étaient furieux que leur travail soit utilisé à des
fins de guerre, surtout après avoir appris que les objectifs d’identification
d’images du Projet Maven incluaient des objets tels que des véhicules, des
bâtiments et des êtres humains33. Plus de3100employés signèrent une lettre
de protestation précisant que Google ne devait pas être impliqué dans le
business de la guerre et exigeant l’annulation du contrat34. Sous la pression
croissante, Google mit officiellement fin à ses travaux sur le Projet Maven et se
retira de la course pour le contrat JEDI du Pentagone, d’une valeur
de10milliards de dollars. Au mois d’octobre de la même année, le président
de Microsoft, Brad Smith, annonça sur son blog : « Nous croyons en une
défense forte des États-Unis et nous voulons que les gens qui les défendent
aient accès aux meilleures technologies du pays, y compris celle de
Microsoft35.» Le contrat finit par être attribué à Microsoft, qui a surenchéri
sur Amazon36.
Peu de temps après le soulèvement de ses employés, Google publia ses
Principes d’Intelligence Artificielle, qui incluent une section sur « les
applications IA que nous ne développerons pas37». Y figurent: «les armes ou
autres technologies dont le principal objectif est de causer ou de faciliter
directement les dommages aux personnes », ainsi que « les technologies qui
recueillent ou utilisent des informations pour une surveillance violant les
normes internationalement acceptées38». Si ce virage vers une éthique de l’IA a
permis d’apaiser certaines inquiétudes internes et externes, on ignore toujours
dans quelle mesure ces paramètres de restriction éthique sont appliqués39.
En réaction, l’ex-PDG de Google, Eric Schmidt, présenta la campagne
contre le Projet Maven comme « une préoccupation générale de la
communauté tech face à la manière dont le complexe militaro-industriel utilise
notre matériel pour tuer des gens de façon incorrecte, si vous voulez40». Ce
glissement du débat sur l’opportunité d’utiliser l’IA dans la guerre vers la
question de savoir si l’IA pourrait aider à «tuer les gens correctement» était
tout à fait stratégique41. Il a déplacé l’attention de l’éthique fondamentale de
l’IA en tant que haute technologie militaire vers des questions de précision et
d’exactitude technique. Mais Lucy Suchman pense que les problèmes de la
guerre automatisée vont bien au-delà de savoir si on tue avec précision ou
«correctement42». En particulier dans le cas de la détection d’objets, demande
Suchman, qui construit les ensembles d’entraînement et utilise quelles
données, et de quelle façon les choses sont-elles étiquetées comme une menace
imminente ? Quels types de taxonomies de classification utilise-t-on pour
déterminer ce qui constitue une activité suffisamment anormale pour
déclencher une attaque de drones ? Et pourquoi devrions-nous accepter les
conséquences de vie ou de mort de ces classifications instables et
intrinsèquement politiques43?
L’épisode Maven et les principes émergents de l’IA révèlent les profondes
divergences dans le domaine quant à la relation entre les sphères militaire et
civile. La guerre de l’IA, réelle et imaginée, instille une politique de la peur et
de l’insécurité qui crée un climat propice à étouffer les dissensions internes et à
promouvoir un soutien inconditionnel en faveur d’un programme
nationaliste44. Une fois l’affaire Maven retombée, le directeur juridique de
Google, Kent Walker, a déclaré que l’entreprise souhaitait obtenir des
certifications de sécurité plus élevée afin de travailler plus étroitement avec le
Département de la Défense: «Je veux être clair. Nous sommes une entreprise
américaine fière de l’être45. » Avec leur patriotisme, les entreprises tech
expriment de plus en plus fortement leur alignement sur les intérêts de l’État-
nation, alors même que leurs plateformes et leurs capacités dépassent la
gouvernance étatique traditionnelle.
L’ÉTAT EXTERNALISÉ
Les relations entre l’État et l’industrie de l’IA vont bien au-delà des armées
nationales. Les technologies autrefois réservées aux zones de guerre et à
l’espionnage sont désormais employées à l’échelle locale: des organismes d’aide
sociale aux forces de l’ordre. Cette évolution a été favorisée par l’externalisation
de fonctions essentielles de l’État, confiées à des prestataires tech. En
apparence, cela ne semble pas très différent du processus habituel par lequel des
fonctions gouvernementales sont sous-traitées avec le secteur privé, par le biais
d’entreprises comme Lockheed Martin ou Halliburton. Mais à présent, les
formes militarisées de détection de schémas et d’évaluation des menaces
s’introduisent massivement dans les services et institutions au niveau
municipal46. Un exemple frappant de ce phénomène est l’entreprise qui porte
le nom des «pierres de vision» dans
Le Seigneur des anneaux
: Palantir.
Palantir a été créé en2004, cofondé par Peter Thiel, le milliardaire de PayPal
qui a aussi été un conseiller et soutien financier du président Trump. Thiel
déclarera plus tard à la presse que l’IA est d’abord et avant tout une haute
technologie militaire: «Oubliez la science-fiction; la puissance vraiment réelle
de l’IA, c’est son application à des tâches relativement banales comme la vision
par ordinateur et l’analyse de données. Moins inquiétants que le monstre de
Frankenstein, ces outils n’en sont pas moins précieux pour n’importe quelle
armée – afin d’obtenir l’avantage en matière de renseignement, par exemple
[…]. Les outils d’apprentissage automatique ont aussi un usage civil, c’est
certain47.»
Bien que Thiel reconnaisse les utilisations non militaires de l’apprentissage
automatique, il croit surtout en l’
entre-deux
: l’espace intermédiaire où les
entreprises commerciales produisent des outils de style militaire destinés à
quiconque souhaite obtenir un avantage en matière de renseignement et a les
moyens de se l’offrir. Thiel et le PDG de Palantir, Alex Karp, décrivent
l’entreprise comme «patriotique». Karp accusant les autres entreprises tech qui
refusent de travailler avec les agences militaires d’être « à la limite de la
lâcheté48 ». Dans un essai très éclairant, Moira Weigel a étudié la thèse de
doctorat de Karp, qui révèle son intérêt intellectuel précoce pour l’agressivité et
sa certitude que «le désir de commettre des actes de violence est un des faits
fondateurs constants de la vie humaine49 ». La thèse de Karp s’intitulait :
«L’agressivité dans le monde vivant.»
Les agences fédérales, militaires et de renseignement furent les premiers
clients de Palantir, dont le Département de la Défense, la NSA, le FBI et la
CIA50. Comme révélé par une enquête de Mijente, quand Trump est devenu
président, les contrats de Palantir avec des agences gouvernementales s’élevaient
à plus d’un milliard de dollars51. Néanmoins Palantir ne se présentait pas
comme un entrepreneur typique de défense à la manière de Lockheed Martin,
mais comme une start-up de la Silicon Valley, implantée à Palo Alto et
composée surtout de jeunes ingénieurs, soutenue par In-Q-Tel, société de
capital risque financée par la CIA. Au-delà des agences de renseignement,
Palantir a commencé à collaborer avec des fonds spéculatifs, des banques et des
entreprises comme Walmart52. Mais son ADN s’était modelé en travaillant
pour et au sein de la communauté de Défense. Son approche était la même que
celles décrites dans les documents de Snowden : extraction de données des
appareils, infiltration de réseaux pour tracer et évaluer les personnes et les
biens. Palantir est vite devenu un fournisseur de services de surveillance
externalisé très apprécié, en concevant les bases de données et les logiciels pour
gérer le système d’expulsion de l’Immigration and Customs Enforcement
(ICE)53.
Le modèle opérationnel de Palantir repose sur un mélange d’analyse de
données et de détection de schémas par l’apprentissage automatique, combiné
aux tâches plus ordinaires d’un consultant. Palantir envoie ses ingénieurs dans
une entreprise, où ils extraient une grande variété de données – courriels,
journaux d’appels, médias sociaux, heures d’arrivée et de départ du personnel,
réservations de billets d’avion, tout ce que l’entreprise est prête à partager. Puis
ils cherchent des modèles et donnent des conseils sur ce qu’il convient de faire.
Une des approches courantes consiste à trouver les «mauvais acteurs», réels ou
potentiels, c’est-à-dire les employés mécontents qui risquent de divulguer des
informations ou d’escroquer la société. La vision du monde sous-jacente,
inscrite dans les outils de Palantir, rappelle la NSA : tout collecter, puis
chercher des anomalies dans les données. Néanmoins, si les outils de la NSA
sont conçus pour surveiller et cibler les ennemis de l’État dans le cadre d’une
guerre conventionnelle ou secrète, l’approche de Palantir est dirigée contre des
civils. Comme l’a décrit une grande enquête de Bloomberg en2018, Palantir
est «une plateforme de renseignement conçue pour la guerre planétaire contre
le terrorisme » qui est désormais « transformée en armement contre les
Américains ordinaires chez eux»: «Palantir s’est fait les dents en travaillant
pour le Pentagone et la CIA en Afghanistan et en Irak […]. Le Département
américain de la Santé et des Services sociaux utilise Palantir pour détecter les
fraudes visant Medicare. Le FBI s’en sert pour ses enquêtes criminelles. Le
Département de la Sécurité intérieure y a recours pour contrôler les voyageurs
aériens et surveiller de près les immigrants54.»
Bientôt la surveillance des travailleurs sans papiers a évolué vers
l’appréhension et l’expulsion de personnes dans les écoles et sur les lieux de
travail. Pour atteindre cet objectif, Palantir a créé une appli téléphonique
appelée FALCON, qui fonctionne comme un vaste filet pour rassembler des
données provenant de multiples bases de données publiques et policières où
figurent les antécédents personnels en matière d’immigration, les relations
familiales, les informations professionnelles et le parcours scolaire. En2018,
des agents de l’ICE ont utilisé FALCON pour guider leurs raids dans une
centaine de magasins7-Eleven à travers les États-Unis, dans le cadre de ce qui a
été appelé «la plus grande opération menée contre un seul et même employeur
de l’ère Trump55».
Malgré les efforts de Palantir pour préserver le secret quant à sa production
ou au fonctionnement de ses systèmes, ses applications brevetées nous
renseignent sur son approche de l’IA en matière d’expulsion. Dans une
application innocemment intitulée
Systèmes de bases de données et interfaces
utilisateurs pour l’analyse et l’identification d’image dynamique et interactive
,
Palantir se vante de pouvoir photographier les gens lors de très brèves
rencontres et, qu’ils soient suspects ou non, de comparer leur image dans
toutes les bases de données disponibles. En substance, le système utilise la
reconnaissance faciale et le traitement des données en arrière-plan (
back-end
)
pour créer un cadre sur lequel fonder n’importe quelle arrestation ou
expulsion.
Les systèmes de Palantir présentent des similitudes structurelles avec ceux de
la NSA, mais ils ont été dévolus au niveau des collectivités locales, vendus aux
chaînes de supermarchés et aux forces de l’ordre locales. Ils s’éloignent ainsi des
méthodes traditionnelles de maintien de l’ordre au profit d’objectifs plus
associés aux infrastructures du renseignement militaire. Comme l’explique
Andrew Ferguson, professeur de droit, « nous évoluons vers un État où les
procureurs et la police pourront prétexter: “L’algorithme m’a dit de le faire,
alors je l’ai fait, je n’avais aucune idée de ce que je faisais.” Et cela se produira à
très grande échelle, quasiment sans supervision56».
La sociologue Sarah Brayne a été parmi les premiers chercheurs à observer
directement comment les plateformes de données de Palantir sont utilisées
in
situ
, en particulier par la police de Los Angeles. Après avoir passé plus de deux
ans à suivre les patrouilles, observer les agents dans leurs bureaux et réaliser des
interviews, elle a conclu que, dans certains domaines, ces outils ne font
qu’amplifier les pratiques policières antérieures, mais que, sur d’autres points,
ils transforment totalement les processus de surveillance. Bref, les policiers se
changent en agents du renseignement:
Le passage d’une surveillance traditionnelle à celle du
big data
est associé à
une migration des opérations de maintien de l’ordre vers des activités de
renseignement. La distinction fondamentale entre maintien de l’ordre et
renseignement est la suivante : en général, les forces de l’ordre
interviennent quand un incident criminel a eu lieu. Légalement, la police
ne peut entreprendre une fouille et recueillir des informations
personnelles que s’il y a une cause probable. Le renseignement, par contre,
est fondamentalement prédictif. Les activités de renseignement
impliquent la collecte des données, l’identification des schémas, lieux,
activités et individus suspects, et l’intervention préventive fondée sur les
renseignements acquis57.
Même si nous sommes tous soumis à ces formes de surveillance, certaines
personnes y sont plus exposées que d’autres: les immigrants, les sans-papiers,
les pauvres et les communautés de couleur. Comme le fait remarquer Brayne
dans son étude, l’usage du logiciel de Palantir reproduit les inégalités, en
soumettant les quartiers pauvres, noirs et latinos à une surveillance toujours
plus grande. Le système de points de Palantir crée une impression
d’objectivité: c’est «juste mathématique», selon un agent de police. Mais il
crée une boucle logique renforcée58. Brayne poursuit:
Malgré l’intention déclarée du système de points d’éviter les préjugés
légalement contestables dans les pratiques de la police–, il cache des biais
à la fois intentionnels et non intentionnels et crée un cycle qui s’auto-
perpétue: si une personne a une valeur de points élevée, elle fait l’objet
d’une surveillance accrue et a de plus grandes chances d’être arrêtée, ce
qui augmente encore sa valeur de points. De telles pratiques empêchent
que les individus déjà pris dans le système de justice pénale sortent du
filet de la surveillance, tout en occultant le rôle des forces de l’ordre qui
façonnent les scores de risques59.
Les approches de l’apprentissage automatique de Palantir et de ses
semblables conduisent à une boucle de rétroaction, où les personnes incluses
dans une base de données de justice pénale sont plus susceptibles d’être
surveillées et donc plus susceptibles d’avoir davantage d’informations à leur
sujet dans la base, ce qui justifie un contrôle accru de la part de la police60.
L’injustice est non seulement aggravée, mais blanchie par la haute technologie,
validée par les systèmes qui semblent incapables d’erreur mais qui intensifient
en fait le problème de la surprésence policière et de la surveillance raciale
biaisée61. Les modèles de renseignement qui ont vu le jour dans les agences
gouvernementales nationales font désormais partie de l’action de la police
locale. Les services de police se transforment en NSA de quartier, qui
exacerbent les inégalités historiques et transforment radicalement les pratiques
policières.
Malgré l’expansion massive des contrats gouvernementaux pour les systèmes
d’IA, on ne s’est guère demandé si les entreprises privées qui commercialisent
ces technologies devraient être légalement tenues pour responsables des
préjudices causés quand des gouvernements utilisent leurs systèmes. Comme
les gouvernements se tournent très souvent vers des entrepreneurs pour obtenir
les architectures algorithmiques de prise de décision, qu’il s’agisse de police ou
de protection sociale, des prestataires tech comme Palantir devraient pouvoir
être accusés de discrimination et d’autres violations. Actuellement, la plupart
des États tentent de rejeter toute responsabilité quand les systèmes d’IA pour
lesquels ils ont opté causent des problèmes : « Nous ne pouvons pas être
responsables de quelque chose que nous ne comprenons pas.» Cela signifie que
les algorithmes commerciaux contribuent au processus gouvernemental de
prise de décision sans qu’il n’y ait de vrai mécanisme de responsabilité. Avec le
juriste Jason Schultz, j’ai affirmé que les concepteurs de systèmes d’IA qui
influencent directement les décisions gouvernementales devraient être
considérés comme des acteurs étatiques afin de pouvoir être jugés en matière
de responsabilité constitutionnelle dans certains contextes62. Tout comme les
États, ils pourraient alors être condamnés pour les préjudices causés. En
attendant, les sous-traitants sont peu incités à ce que leurs systèmes n’aggravent
pas les préjudices existants ou n’en créent de tout nouveaux63.
Autre exemple de ce phénomène: Vigilant Solutions, créé en2005. Cette
entreprise repose sur un seul principe: prendre des outils de surveillance qui
pourraient nécessiter un contrôle judiciaire s’ils étaient utilisés par les
gouvernements et les transformer en une entreprise privée florissante hors des
limites constitutionnelles du respect de la vie privée. Vigilant Solutions s’est
implanté dans de nombreuses villes des États-Unis en installant des caméras de
reconnaissance automatique des plaques d’immatriculation (ALPR) partout:
voitures, réverbères, parkings, immeubles résidentiels. Ce dispositif de caméras
en réseau photographie toutes les voitures qui passent, stockant les plaques
minéralogiques dans une gigantesque base de données perpétuelle. Vigilant
vend ensuite l’accès à cette base à la police, aux détectives privés, aux banques,
aux compagnies d’assurance, ou autres. Si des agents de police veulent pister
une voiture à travers un État et connaître tous les endroits qu’elle a traversés,
Vigilant Solutions peut le leur montrer. De même, si une banque veut saisir un
véhicule, elle peut le localiser, moyennant finances.
Basé en Californie, Vigilant Solutions se présente comme « un des outils
fiables de lutte contre le crime, qui aide les forces de l’ordre à remonter des
pistes et boucler leurs enquêtes plus vite». Elle a noué des partenariats avec
plusieurs États dont le Texas, la Californie et la Géorgie, en fournissant aux
services de police des systèmes ALPR pour leur patrouille, ainsi qu’un accès à la
base de données64. En retour, les autorités locales fournissent à Vigilant
Solutions les dossiers de mandats d’arrêt en suspens et de frais de justice en
souffrance. Toute plaque d’immatriculation que la base de données associe à
une amende impayée est transmise au système mobile de la police, sous forme
de mandats. Les automobilistes arrêtés ont deux options : payer aussitôt
l’amende ou être emmenés au poste. Vigilant Solutions empoche une surtaxe
de 25 % et conserve la trace de toutes les plaques identifiées, extrayant ces
données pour les ajouter à ses immenses bases.
Vigilant Solutions a signé un important contrat avec l’ICE, qui lui a donné
accès à5millions de plaques d’immatriculation compilées par des entreprises
privées, ainsi qu’à1,5milliard de points de données fournies par80agences
locales de forces de l’ordre, dont des informations sur les lieux où les gens
vivent et travaillent. Ces données résultent parfois d’accords informels entre la
police locale et l’ICE, et sont déjà en violation avec les lois des États sur le
partage des données. La politique de confidentialité de l’ICE elle-même limite
la collecte de données près des «lieux sensibles» comme les écoles, les églises et
les manifestations. Mais dans ce cas, l’ICE ne collecte rien et n’entretient pas
de base de données : il achète simplement l’accès aux systèmes de Vigilant
Solutions, qui a beaucoup moins de restrictions. Il s’agit de fait d’une
privatisation de la surveillance publique, qui brouille les frontières entre
entrepreneurs privés et entités de l’État, et crée des formes opaques de collecte
des données qui échappent aux directives de protection traditionnelles65.
Depuis, Vigilant Solutions a élargi sa boîte à outils de « résolution des
crimes » au-delà des lecteurs de plaques d’immatriculation pour inclure la
reconnaissance faciale. L’entreprise cherche ainsi à réduire les visages humains à
des plaques minéralogiques pour les réinjecter dans l’écologie policière66.
Comme un réseau de détectives privés, Vigilant Solutions porte un regard
omniscient sur les routes et autoroutes américaines, et sur tous ceux qui les
empruntent, en échappant à toute véritable réglementation ou responsabilité67.
Si on passe de la voiture de police à la porte d’immeuble, on découvre un
autre lieu où les différences entre le secteur public et le secteur privé s’effacent
en matière de données. Une nouvelle génération d’applis de signalement des
crimes comme Neighbors, Citizen et Nextdoor permet à l’utilisateur d’être
alerté des incidents locaux signalés en temps réel, d’en discuter, et de diffuser,
partager et tagger les images vidéo de sécurité. Neighbors, conçu par Amazon
pour ses sonnettes connectées dotées de caméras Ring, se définit comme la
«nouvelle surveillance de voisinage» et classe les vidéos selon des catégories
comme Crime, Suspect ou Inconnu. Les vidéos sont souvent partagées avec la
police68. Dans ces écosystèmes de surveillance résidentielle, les logiques de
TreasureMap et de FoxAcid se rejoignent, mais connectés à la maison, à la rue
et à tous les endroits qui se trouvent entre les deux.
Pour Amazon, chaque nouvel appareil Ring vendu aide à construire des
ensembles de données d’entraînement à toujours plus grande échelle, à
l’intérieur comme à l’extérieur de la maison, avec une logique de classification
de comportements normaux et anormaux alignée sur la logique du champ de
bataille opposant alliés et ennemis. Un exemple : les utilisateurs peuvent
signaler les colis Amazon volés. Selon une enquête journalistique, beaucoup de
messages publiés dans ce cadre incluent des commentaires racistes, et les vidéos
montrent un nombre disproportionné de personnes de couleur comme voleurs
potentiels69. Ring ne sert pas qu’à signaler des crimes, mais aussi à dénoncer les
employés d’Amazon qui ne semblent pas assez performants, qui ne prennent
pas assez soin des paquets, ce qui crée un nouveau niveau de surveillance des
travailleurs et de représailles70.
Pour compléter son infrastructure de surveillance privée-publique, Amazon
a démarché les services de police de manière agressive pour leur vendre le
système Ring, leur offrant des réductions et un portail grâce auquel les agents
peuvent voir où les caméras se situent dans un quartier et contacter les
propriétaires pour exiger les vidéos sans mandat officiel71. Amazon a négocié
un partenariat de partage de vidéos avec plus de 600 services de polices
locales72.
Dans un autre cas, Amazon a conclu un accord avec la police d’une ville de
Floride, découvert grâce à la journaliste Caroline Haskins suite à une demande
de documents publics : les policiers étaient incités à faire la promotion de
l’appli Neighbors et, au bout d’un certain nombre de téléchargements, ils
recevaient des bons pour des caméras Ring gratuites73. Il en a résulté un
«réseau de surveillance auto-entretenu: plus les gens téléchargent Neighbors,
plus ils possèdent Ring, les vidéos de surveillance prolifèrent, et la police peut
exiger tout ce qu’elle veut », écrit Haskins74. Les capacités de surveillance,
autrefois régies par les tribunaux, sont désormais proposées sur Apple Store et
promues par les flics locaux. Comme le remarque Tung-Hui Hu, spécialiste des
médias, en utilisant ces applis, nous «travaillons en freelance pour l’appareil
sécuritaire de l’État75».
Hu décrit comment toutes les formes de ciblage – terme militaire par
excellence – devraient être considérées comme un seul et même système de
pouvoir interconnecté, depuis la publicité ciblée jusqu’au ciblage de voisins
suspects en passant par les drones. « Nous ne pouvons tout simplement pas
envisager une forme de ciblage séparément des autres ; réunies dans la
souveraineté des données, elles nous imposent de comprendre différemment le
pouvoir à l’ère du cloud76. » Les modes de vision qui étaient l’apanage des
agences de renseignement ont désormais pris une forme granulaire et ont été
dispersés à travers de nombreux systèmes sociaux–intégrés aux lieux de travail,
aux maisons, aux voitures–et promus par des entreprises tech qui occupent les
zones hachurées où se chevauchent IA commerciale et IA militaire.
DES POINTS DE CRÉDIT TERRORISTE AUX POINTS DE CRÉDIT SOCIAL
Derrière la logique militaire du ciblage se cache l’idée de
signature
. Vers la fin
du second mandat du président George W. Bush, la CIA a affirmé qu’elle
devrait pouvoir lancer des attaques de drones sur la seule base du «modèle de
comportement» ou de la «signature» d’un individu77. Alors qu’une «frappe
de personnalité» implique de cibler un individu spécifique, une «frappe de
signature » consiste à tuer quelqu’un en raison de sa signature de
métadonnées ; autrement dit, on ignore son identité mais les données
suggèrent que ce pourrait être un terroriste78. Comme l’ont montré les
documents Snowden, pendant les années Obama, le programme de
surveillance mondiale de la NSA pouvait géolocaliser une carte SIM ou le
téléphone d’un suspect, après quoi l’armée américaine procédait à une frappe
de drone pour tuer l’individu en possession de l’appareil79. «Nous tuons les
gens en nous fondant sur les métadonnées », expliqua le général Michael
Hayden, ex-directeur de la NSA et de la CIA80. La division de géolocalisation
de la NSA utilisait, semble-t-il, un langage plus coloré: «On les déniche, vous
les écrasez81.»
Les frappes de signature semblent précises et validées, et viser des individus
identifiés. Mais en2014, l’organisation de soutien juridique Reprieve a publié
un rapport montrant que les frappes de drone censées tuer41individus avaient
entraîné la mort de1147personnes. «Les frappes de drone ont été vendues au
public américain comme étant “précises”. Mais elles sont seulement aussi
précises que le renseignement qui les alimente », a déclaré Jennifer Gibson,
responsable de ce rapport82. La frappe de signature n’est pas une affaire de
précision, mais de corrélation. Dès qu’un modèle est découvert dans les
données et qu’il atteint un certain seuil, le soupçon devient suffisant pour agir,
même en l’absence de preuve catégorique. Ce mode de décision par
reconnaissance de schémas existe dans de nombreux domaines, et prend le plus
souvent la forme d’un score ou crédit de points.
Prenons l’exemple de la crise des réfugiés syriens en 2015. Des millions de
personnes fuyaient la guerre civile et l’occupation ennemie dans l’espoir de
trouver asile en Europe. Les réfugiés risquaient leur vie sur des radeaux et des
bateaux surchargés. Le2septembre un enfant de3ans, Aylan Kurdi, s’est noyé
dans la Méditerranée, avec son frère de5ans, quand leur bateau a chaviré. Une
photo montrant son corps échoué sur une plage turque fit la une des journaux
internationaux, comme le symbole de l’étendue de la crise humanitaire: une
seule image pour incarner l’ensemble des atrocités. Mais certains y virent une
menace croissante. C’est vers cette époque qu’IBM a été contacté pour un
nouveau projet. L’entreprise pouvait-elle utiliser sa plateforme d’apprentissage
automatique pour détecter la signature des données des réfugiés susceptibles
d’avoir des liens avec le djihadisme? Pouvait-elle distinguer automatiquement
un réfugié d’un terroriste?
Andrew Borene, responsable des initiatives stratégiques chez IBM, présenta
la raison d’être du programme au magazine militaire
Defense One
: « Notre
équipe internationale, dont certains membres en Europe, a reçu des
informations selon lesquelles, parmi les demandeurs d’asiles affamés et
désespérés, des hommes en âge de combattre qui semblaient en pleine forme
ont aussi débarqué. Était-ce un motif d’inquiétude vis-à-vis de l’État islamique
et, si oui, ce type de solution pouvait-il être utile?83»
En sécurité dans leurs bureaux, les analystes d’IBM estimaient que le
problème pouvait être résolu par l’extraction de données et l’examen des
médias sociaux. Écartant les nombreuses variables qui existaient dans les
conditions de vie des camps de réfugiés improvisés et les dizaines d’hypothèses
employées pour catégoriser le comportement terroriste, IBM créa à titre
expérimental un système de «crédit terroriste» pour séparer le bon grain de
l’ivraie. Une masse de données non structurées furent collectées un peu
partout, sur Twitter comme sur la liste officielle des personnes noyées lors de
naufrages au large de la Grèce et de la Turquie. Un ensemble de données fut
établi, inspiré des métadonnées auxquelles avaient accès les gardes-frontières. À
partir de ces mesures disparates un calcul hypothétique de la menace fut
développé: non pas un indicateur absolu de culpabilité ou d’innocence, était-il
souligné, mais une «connaissance» profonde des personnes, avec leur adresse
passée, leur lieu de travail et leurs connexions sociales84. Pendant ce temps, les
réfugiés syriens ignoraient totalement que leurs données personnelles étaient
collectées pour tester un système susceptible de les désigner comme terroristes
potentiels.
C’est un cas parmi tant d’autres où les nouveaux systèmes techniques de
contrôle étatique utilisent le corps des réfugiés comme supports de test. Cette
logique militaire et policière est désormais gagnée par une forme de
financiarisation : des modèles de solvabilité socialement construits ont été
intégrés dans de nombreux systèmes d’IA, et influencent tout, de la faculté
d’obtenir un crédit à la permission de franchir une frontière. Des centaines de
plateformes de ce genre sont à présent employées à travers le monde, de la
Chine au Venezuela en passant par les États-Unis ; elles récompensent des
formes prédéterminées de comportement social et pénalisent ceux qui ne s’y
conforment pas85. Ce « nouveau régime de classification sociale moralisée »,
selon l’expression des sociologues Marion Fourcade et Kieran Healy, profite
aux «plus performants» de l’économie traditionnelle, tout en désavantageant
encore plus les défavorisés86. Ce système de points est devenu le lieu où se
combinent signature militaire et signature commerciale.
La logique des points de crédit IA est étroitement liée au maintien de l’ordre
et au contrôle des frontières, domaines traditionnels de l’État, mais elle
influence aussi une autre fonction étatique: l’accès aux prestations publiques.
Comme le montre la politologue Virginia Eubanks dans
Automating Inequality
,
quand les systèmes d’IA sont déployés dans le cadre de l’État-providence, ils
servent avant tout à surveiller, évaluer et limiter l’accès des gens aux ressources
publiques, plutôt que de moyen d’offrir une aide plus généreuse87.
Un exemple-clé de cette dynamique est apparu quand Rick Snyder, ex-
gouverneur républicain du Michigan, auparavant président de l’entreprise de
logiciels Gateway, a décidé de mettre en place deux programmes d’austérité
pilotés par des algorithmes dans le but de saper la sécurité économique de ses
citoyens les plus pauvres, sous les auspices des coupes budgétaires de l’État.
D’abord, il demanda qu’un algorithme d’appariement soit utilisé pour établir
sa politique concernant les « criminels en fuite », et qui visait à exclure
automatiquement de l’aide alimentaire les personnes sous le coup d’un mandat
d’arrêt non exécuté. Entre2012 et2015, le nouveau système désigna à tort
plus de 19 000 habitants du Michigan, tous automatiquement disqualifiés
pour l’aide alimentaire88.
Le second programme, baptisé Michigan Integrated Data Automated
System (MiDAS), a été conçu pour juger «robotiquement» et punir ceux qui,
d’après le système, fraudaient l’assurance chômage de l’État. MiDAS traitait
presque toutes les divergences ou incohérences dans les données d’une
personne comme une preuve de comportement illégal. Le système identifia à
tort plus de40000habitants du Michigan. Les conséquences furent graves:
saisie de remboursements d’impôt, saisie-arrêt des salaires, pénalités
administratives dont le montant était quatre fois supérieur aux sommes
concernées par les fraudes prétendues. En fin de compte, les deux systèmes
furent de gigantesques échecs financiers, qui coûtèrent au Michigan bien plus
qu’ils ne lui rapportèrent. Les victimes ont pu poursuivre l’État, mais
seulement après que des milliers de personnes ont été touchées, avec de
nombreux cas de faillite89.
Quand on envisage le contexte général des systèmes d’IA pilotés par l’État,
on discerne la logique cohérente entre le ciblage des terroristes et des
travailleurs sans papiers et le ciblage des criminels en fuite et les fraudeurs
présumés. Même si l’aide alimentaire et les allocations chômage ont été créées
pour soutenir les pauvres et promouvoir la stabilité économique et sociale,
l’usage de systèmes militaristes de commandement et de contrôle à des fins de
punition et d’exclusion en sape les objectifs. Ces systèmes sont punitifs par
essence, conçus sur un modèle de ciblage des menaces. Les notions de risque et
de calcul des points imprègnent désormais les structures de la bureaucratie
d’État, et les systèmes de décision automatisée conçus dans ces institutions
poussent cette logique jusque dans la manière dont les communautés et les
individus sont imaginés, évalués, notés et servis.
LA BOTTE DE FOIN
Je suis au bout d’une longue journée de recherches dans les archives Snowden
quand je tombe sur une diapositive qui décrit la planète comme une «botte de
foin d’informations », où le renseignement désirable est l’aiguille cachée
quelque part dans la paille. Il y a un joli clipart de meule géante dans un
champ sous un ciel bleu. Ce cliché de la collecte d’informations est tactique:
on fauche les foins dans l’intérêt de la ferme, on glane pour produire de la
valeur. Cela évoque une imagerie pastorale réconfortante de l’agriculture de
données, qui consiste à entretenir les champs pour poursuivre
méthodiquement les cycles d’extraction et de production. Selon Phil Agre, «la
haute technologie est actuellement une philosophie clandestine; il s’agit de la
rendre ouvertement philosophique90». La philosophie ici, c’est que les données
doivent être extraites dans le monde entier et structurées afin de préserver
l’hégémonie américaine. Mais nous avons vu que ce genre d’histoire ne résiste
pas à un examen critique.
Les grilles de computation planétaire qui se chevauchent sont complexes,
elles croisent la logique d’entreprise et la logique d’État, elles excèdent les
frontières étatiques traditionnelles et les limites de la gouvernance, et elles sont
bien moins ordonnées que ne le sous-entend l’idée du «
winner takes all
», le
vainqueur remporte tout. Comme l’affirme Benjamin Bratton, «l’armature de
computation à l’échelle planétaire a une logique déterminante qui s’auto-
renforce, si ce n’est qui s’auto-réalise, et qui, à travers l’automatisation de ses
propres opérations infrastructurelles, dépasse toute conception nationale,
même si elle est aussi utilisée en leur nom91 ». L’idée chauvine d’une IA
souveraine, contenue à l’abri des frontières nationales, est un mythe.
L’infrastructure de l’IA est déjà hybride et, comme Hu le souligne, il en va de
même de la main-d’œuvre qui la sous-tend, depuis les ouvriers qui fabriquent
les composants électroniques dans les usines chinoises jusqu’aux programmeurs
russes qui font fonctionner le cloud, sans oublier les Marocains qui travaillent
en freelance pour filtrer les contenus et étiqueter les images92.
Pris ensemble, l’IA et les algorithmes utilisés par l’État, du niveau militaire
au niveau municipal, révèlent une philosophie cachée de commandement et de
contrôle infrastructurel massif, par le biais d’une combinaison de techniques
extractives de données, de logiques de ciblage et de surveillance. Ces objectifs
sont cruciaux pour les agences de renseignement depuis des décennies, mais ils
ont désormais envahi bien d’autres fonctions étatiques, du maintien de l’ordre
aux prestations sociales93. Ce n’est qu’un aspect de l’enchevêrement des
logiques étatique, municipale et d’entreprise à travers la computation extractive
planétaire. Mais c’est un marché inconfortable: les États concluent des accords
avec des entreprises tech qu’ils ne peuvent ni contrôler ni même vraiment
comprendre, et elles assument des fonctions étatiques et extra-étatiques pour
lesquelles elles ne sont pas adaptées et dont elles pourraient un jour être tenues
pour responsables.
Les archives Snowden montrent jusqu’où s’étendent ces logiques de
surveillance contradictoires qui se chevauchent. Un document mentionne les
symptômes de ce qu’un employé de la NSA décrivait comme une addiction à la
vision omnisciente que les données semblent offrir: «Les alpinistes parlent de
“fièvre des sommets” quand quelqu’un devient tellement obsédé par le désir
d’atteindre le sommet que tout le reste disparaît de sa conscience. Je pense que
les adeptes du renseignement électronique, comme les grimpeurs de classe
mondiale, ne sont pas épargnés par la fièvre des sommets. Il est assez facile de
perdre de vue le mauvais temps et de s’acharner, surtout après avoir investi tant
d’argent, de temps et de ressources94.»
Tout l’argent et toutes les ressources consacrés à une surveillance inlassable
s’inscrivent dans le rêve fiévreux de contrôle centralisé qui s’impose au
détriment d’autres visions de l’organisation sociale. Les révélations de Snowden
nous ont appris jusqu’où peut aller une culture de l’extraction quand l’État et
le secteur commercial collaborent, mais les schémas de réseau et les cliparts de
PowerPoint paraissent bien innocents par rapport à tout ce qui s’est passé
depuis95. Les méthodes et les outils propres à la NSA se sont répandus dans les
salles de classe, les commissariats, sur les lieux de travail et dans les agences
pour l’emploi. C’est le résultat d’énormes investissements, de formes de
privatisation
de facto
, et de la titrisation du risque et de la peur. L’actuelle
imbrication de différentes formes de pouvoir était l’espoir de la Third Offset
Strategy, ou troisième compensation. Elle est allée bien au-delà de l’objectif
d’avantage stratégique sur le champ de bataille pour englober tous les aspects
de la vie quotidienne qui peuvent être tracés et évalués, enracinés dans des
définitions normatives de la façon dont un bon citoyen devrait communiquer,
se comporter et dépenser. Cette évolution entraîne une vision différente de la
souveraineté de l’État, modulée par la gouvernance algorithmique des
entreprises, et elle aggrave le profond déséquilibre du pouvoir entre les agents
de l’État et les personnes qu’ils sont censés servir.
1 SI (Special Intelligence) est le terme utilisé pour désigner et contrôler les
documents relatifs à l’interception des télécommunications. ORCON
(ORiginator CONtrolled) indique que toute dissémination du document
doit être validée par le service qui en est à l’origine. NOFORN (« Not
Releasable to Foreign Nationals) interdit la distribution de document
classifié aux ressortissants étrangers. U.S. Department of Defense, «Use of
the “Not Releasable to Foreign Nationals” (NOFORN) Caveat».
2L’alliance internationale de renseignement Five Eyes («Cinq Yeux») réunit
l’Australie, le Canada, la Nouvelle-Zélande, le Royaume-Uni et les États-
Unis. U.S. Office of the Director of National Intelligence, « Five Eyes
Intelligence Oversight and Review Council».
3Galison, «Removing Knowledge», p.229.
4Risen et Poitras, «N.S.A. Report Outlined Goals for More Power»; Müller-
Maguhn
et al
., «The NSA Breach of Telekom and Other German Firms».
5FoxAcid est un logiciel développé par l’Office of Tailored Access Operations
(aujourd’hui nommé Computer Network Operations), unité de la NSA
spécialisée dans le renseignement contre la cyberguerre.
6Schneier, «Attacking Tor», accessible dans
The Intercept
, « NSA Phishing
Tactics and Man in the Middle Attack».
7Swinhoe, «What Is Spear Phishing?».
8
The New York Times
, «A Strategy for Surveillance Powers».
9Edwards,
Un monde clos
.
10
Ibid
.
11 Edwards,
The Closed World
, p. 198 (passage non traduit dans la version
française abrégée).
12Mbembe, «Nécropolitiques», p.48.
13Bratton,
Le Stack
, p.97.
14 Pour une remarquable histoire d’Internet aux États-Unis, voir Abbate,
Inventing the Internet
.
15 SHARE Foundation, « Serbian Government Is Implementing Unlawful
Video Surveillance».
16 Department of International Cooperation Ministry of Science and
Technology (MOST), « Next Generation Artificial Intelligence
Development Plan».
17Chun,
Control and Freedom
; Hu,
A Prehistory of the Cloud
, p.87-88.
18Cave et ÓhÉigeartaigh, «An AI Race for Strategic Advantage».
19Markoff, «Pentagon Turns to Silicon Valley for Edge».
20Brown,
Department of Defense Annual Report
.
21Martinage, «Toward a New Offset Strategy», p.5-16.
22Carter, «Remarks on “the Path to an Innovative Future for Defense”»;
Pellerin, «Deputy Secretary».
23 L’origine des compensations militaires américaines remonte à
décembre1952, quand l’Union soviétique comptait presque dix fois plus de
divisions militaires conventionnelles que les États-Unis. Le président
Eisenhower s’est tourné vers la dissuasion nucléaire comme moyen de
«compenser» cette situation. Cette stratégie impliquait non seulement la
menace de représailles des forces nucléaires américaines, mais aussi la
croissance accélérée de l’arsenal des États-Unis, ainsi que le développement
de bombardiers longue portée, de la bombe à hydrogène, et enfin de missiles
balistiques intercontinentaux. Il s’agissait également d’un recours accru à
l’espionnage, au sabotage et aux opérations secrètes. Dans les
années1970et1980, la stratégie militaire américaine s’est tournée vers les
avancées informatiques en matière d’analyse et de logistique, en s’appuyant
sur l’influence d’experts comme Robert McNamara dans leur quête de
suprématie militaire. La «Deuxième Compensation» s’est traduite par des
affrontements militaires comme l’opération Tempête du Désert pendant la
guerre du Golfe en1991, où la reconnaissance, l’élimination des défenses
ennemies et les munitions à guidage de précision ont prédominé dans la
façon dont les États-Unis ont non seulement mené la guerre mais l’ont aussi
pensée et exposée. Pourtant, quand la Russie et la Chine ont commencé à
adopter ces capacités et à déployer des réseaux numériques pour la guerre, la
préoccupation de rétablir un nouveau type d’avantage stratégique s’est
accrue. Voir McNamara et Blight,
Wilson’s Ghost
.
24Pellerin, «Deputy Secretary».
25Gellman et Poitras, «U.S., British Intelligence Mining Data».
26U.S. Department of Defense, Deputy Secretary of Defense to Secretaries of
the Military Departments
et al
.
27
Ibid
.
28Michel,
Eyes in the Sky
, p.134.
29
Ibid
., p.135.
30 Cameron et Conger, « Google Is Helping the Pentagon Build AI for
Drones».
31Par exemple, Gebru
et al
., «Fine-Grained Car Detection for Visual Census
Estimation».
32Fang, «Leaked Emails Show Google Expected Lucrative Military Drone AI
Work».
33Bergen, «Pentagon Drone Program Is Using Google AI».
34Shane et Wakabayashi, «“Business of War”».
35Smith, «Technology and the US Military».
36Quand le contrat JEDI a finalement été attribué à Microsoft, Brad Smith,
le président de l’entreprise, a expliqué que Microsoft avait remporté le
contrat parce que «ce n’était pas juste une opportunité de ventes, mais aussi
un vrai projet d’ingénierie à très grande échelle ». Stewart et Carlson,
«President of Microsoft Says It Took Its Bid».
37Pichai, «AI at Google».
38
Ibid
. Le projet Maven a ensuite été repris par Anduril Industries, une start-
up technologique très opaque fondée par Palmer Luckey, concepteur de
l’Oculus Rift. Fang, «Defense Tech Start-up».
39Whittaker
et al
., AI Now Report2018.
40Schmidt cité dans Scharre
et al
., «Eric Schmidt Keynote Address».
41Comme le remarque Suchman: «“Tuer les gens correctement” selon les lois
de la guerre suppose d’adhérer au Principe de Distinction et d’identifier une
menace imminente.» Suchman, «Algorithmic Warfare and the Reinvention
of Accuracy», note18.
42Suchman, «Algorithmic Warfare and the Reinvention of Accuracy».
43
Ibid
.
44Hagendorff, «The Ethics of AI Ethics».
45Brustein et Bergen, «Google Wants to Do Business with the Military».
46Pour savoir pourquoi les municipalités devraient évaluer plus attentivement
les risques des plateformes algorithmiques, voir Green,
The Smart Enough
City
.
47Thiel, «Good for Google, Bad for America».
48Steinberger, «Does Palantir See Too Much?».
49Weigel, «Palantir goes to the Frankfurt School».
50Dilanian, «US Special Operations Forces Are Clamoring to Use Software».
51
Mijente
, «The War against Immigrants».
52Alden, «Inside Palantir, Silicon Valley’s Most Secretive Company».
53
Ibid
.
54 Waldman, Chapman et Robertson, « Palantir Knows Everything about
You».
55 Joseph, « Data Company Directly Powers Immigration Raids in
Workplace»; Anzilotti, «Emails Show That ICE Uses Palantir Technology
to Detain Undocumented Immigrants».
56Conversation avec l’auteure, 21juin2019.
57 Brayne, « Big Data Surveillance ». Brayne indique également que la
migration du maintien de l’ordre vers le renseignement s’est produite avant
même le passage à l’analyse prédictive, avec des décisions de justice comme
Terry v. Ohio
et
Whren v. United States
, qui ont permis aux forces de l’ordre
d’éluder plus facilement les causes probables et ont entraîné une
prolifération d’arrêts prétextes.
58Richardson, Schultz et Crawford, «Dirty Data, Bad Predictions».
59Brayne, «Big Data Surveillance», p.997.
60
Ibid
.
61Voir, par exemple, French et Browne, «Surveillance as Social Regulation».
62Crawford et Schultz, «AI Systems as State Actors».
63 Cohen,
Between Truth and Power
; Calo et Citron, « The Automated
Administrative State».
64National Cooperative Purchasing Alliance (NCPA), «Vigilant Solutions»;
Maass et Lipton, «What We Learned».
65Newman, «Internal Docs Show How ICE Gets Surveillance Help».
66England, «UK Police’s Facial Recognition System».
67Scott,
L’Œil de l’État
.
68Haskins, «How Ring Transmits Fear to American Suburbs».
69Haskins, «Amazon’s Home Security Company».
70
Ibid
.
71Haskins, «Amazon Requires Police to Shill Surveillance Cameras».
72Haskins, «Amazon Is Coaching Cops».
73
Ibid
.
74
Ibid
.
75Hu,
A Prehistory of the Cloud
, p.115.
76
Ibid
.
77Benson, «“Kill ’Em and Sort It Out Later”», p.17.
78Hajjar, «Lawfare and Armed Conflicts», p.70.
79Scahill et Greenwald, « The NSA’s Secret Role in the U.S. Assassination
Program».
80Cole, «“We Kill People Based on Metadata”».
81Priest, «NSA Growth Fueled by Need to Target Terrorists».
82Gibson cité dans Ackerman, «41Men Targeted but1,147 People Killed».
83Tucker, «Refugee or Terrorist?».
84
Ibid
.
85O’Neil,
Algorithmes. La bombe à retardement
.
86Fourcade et Healy, «Seeing Like a Market».
87Eubanks,
Automating Inequality
.
88Richardson, Schultz et Southerland, «Litigating Algorithms», p.19.
89
Ibid
., p.23.
90Agre,
Computation and Human Experience
, p.240.
91Bratton,
Le Stack
, p.90.
92Hu,
A Prehistory of the Cloud
, p.89.
93Nakashima et Warrick, «For NSA Chief, Terrorist Threat Drives Passion».
94Maass, «Summit Fever».
95 L’avenir des archives Snowden est très incertain. En mars 2019, on a
annoncé que
The Intercept
– le magazine créé par Glenn Greenwald avec
Laura Poitras et Jeremy Scahill après qu’ils se sont partagé le prix Pulitzer
pour leur reportage sur les documents Snowden – ne financerait plus ces
archives. Tani, «The Intercept Shuts Down Access to Snowden Trove».
Conclusion
Le pouvoir
L’intelligence artificielle n’est pas une technique computationnelle objective,
universelle ou neutre, qui prend des décisions sans orientation humaine. Ses
systèmes sont inscrits dans le monde social, politique, culturel et économique,
façonnés par des humains, des institutions et des impératifs qui déterminent ce
qu’ils font et comment ils le font. Ils sont conçus pour trier, pour amplifier les
hiérarchies, et pour encoder des classifications étroites. Quand ils sont
appliqués à des contextes sociaux comme la police, la justice, les soins de santé
et l’éducation, ils peuvent reproduire, amplifier et aggraver les inégalités
structurelles existantes. Ce n’est pas un hasard : les systèmes d’IA sont
construits pour voir et intervenir dans le monde d’une manière qui avantage
surtout les États, les institutions et les entreprises qu’ils servent. En ce sens, les
systèmes d’IA sont une expression du pouvoir, qui résulte de forces
économiques et politiques plus larges ; ils sont créés afin d’augmenter les
profits et de centraliser le contrôle pour ceux qui les utilisent. Mais ce n’est
généralement pas ainsi que nous est contée l’histoire de l’intelligence
artificielle.
Les récits habituels s’articulent souvent autour d’une sorte d’exception
algorithmique: parce que les systèmes d’IA peuvent accomplir de stupéfiants
exploits en computation, ils doivent être plus malins et plus objectifs que leurs
créateurs, ces humains déficients. Envisageons un des schémas d’AlphaGo
Zero, programme d’IA conçu par DeepMind, de Google, pour jouer à des jeux
de stratégie1. L’image montre comment le programme a «appris» à maîtriser le
jeu de go, en évaluant plus d’un millier d’options à chaque coup. Dans l’article
présentant leur invention, les auteurs écrivent: «Parti de rien, notre nouveau
programme AlphaGo Zero a obtenu des résultats surhumains2. » Demis
Hassabis, cofondateur de DeepMind, prétend que ces moteurs de jeu sont
apparentés à l’intelligence extra-terrestre. « Ils ne jouent pas comme un
humain, mais ils ne jouent pas non plus comme un ordinateur. Ils jouent d’une
autre façon encore […]. On dirait les échecs venus d’une autre dimension3.»
Quand l’édition suivante a maîtrisé le go en trois jours, Hassabis a déclaré
qu’ils avaient «redécouvert trois mille ans de savoir humain en72heures!4»
Le schéma ne montre ni machines, ni travailleurs humains, ni investissement
en capital, ni empreinte carbone, juste un système abstrait fondé sur des règles
et doté de compétences surnaturelles. Les récits de magie et de mystification
abondent dans l’histoire de l’IA, traçant des cercles lumineux autour de
déploiements spectaculaires de vitesse, d’efficacité et de raisonnement
computationnel5. Ce n’est pas un hasard si l’un des exemples iconiques de l’IA
moderne est un jeu.
JEUX SANS FRONTIÈRES
Depuis les années 1950, les jeux sont le terrain d’essai préféré pour les
programmes d’IA6. Contrairement à la vie quotidienne, les jeux offrent un
monde clos, aux paramètres définis et des conditions de victoire claires. Les
racines historiques de l’IA, qui datent de la Seconde Guerre mondiale, sont
liées à la recherche financée par l’armée, pour le traitement et l’optimisation
des signaux; le but était de simplifier le monde, pour qu’il ressemble davantage
à un jeu de stratégie. D’où l’accent mis sur la rationalisation et la prédiction,
avec la conviction que le formalisme mathématique nous aiderait à
comprendre les humains et la société7. L’idée qu’il suffirait de réduire la
complexité du monde pour obtenir une prédiction exacte a engendré une
théorie implicite du fait social: trouvez le signal au milieu du bruit, et vous
changerez le désordre en ordre.
Cet aplatissement épistémologique de la complexité en un signal net à des
fins de prédiction est aujourd’hui une logique centrale de l’apprentissage
automatique. Avec l’historien des technologies Alex Campolo, j’appelle ce
phénomène le
déterminisme enchanté
: les systèmes d’IA sont perçus comme
magiques, au-delà du monde connu, et pourtant comme déterministes dans la
mesure où ils découvrent des modèles qui peuvent s’appliquer au quotidien
avec une certitude prédictive8. Dans les discussions sur les systèmes
d’apprentissage profond (
deep learning
), où les techniques d’apprentissage
automatique sont étendues en superposant les couches de représentation
abstraite des données, le déterminisme enchanté acquiert une qualité presque
théologique. Puisqu’il est souvent impossible d’interpréter les approches
d’apprentissage profond, même pour les ingénieurs qui les ont créées, ces
systèmes sont réputés trop complexes pour qu’on les réglemente et trop
puissants pour qu’on les refuse. Comme le remarquait le socio-anthropologue
F.G. Bailey, la technique de « dissimulation par mystification » est souvent
employée dans un contexte public pour prétendre qu’un phénomène est
inévitable9. On nous suggère de nous focaliser sur la nature innovante de la
méthode plutôt que sur l’essentiel: l’objectif même de la chose. Surtout, le
déterminisme enchanté dissimule le pouvoir et met fin à tout débat public
informé, à tout examen critique ou à tout rejet catégorique.
Le déterminisme enchanté se subdivise en deux tendances majeures, chacune
étant l’exact reflet de l’autre. L’une est une forme d’utopisme tech qui présente
les interventions computationnelles comme des solutions universelles
applicables à n’importe quel problème. L’autre est une perspective dystopique
qui reproche aux algorithmes leurs résultats négatifs comme s’ils étaient des
agents indépendants, sans s’attaquer aux contextes qui les façonnent et dans
lesquels ils opèrent. À l’extrême, le récit dystopique aboutit à la singularité, à la
superintelligence, à la théorie qu’une intelligence mécanique pourrait surgir,
qui finira par dominer ou détruire les humains10. Cette vision affronte
rarement la réalité : les systèmes planétaires de computation extractive
dominent
déjà
tant de gens à travers le monde!
Ces discours utopique et dystopique sont des jumeaux métaphysiques: l’un
place sa foi en l’IA comme solution à tous les problèmes, l’autre redoute l’IA
comme le péril suprême. Chacun offre une vision profondément anhistorique,
qui situe le pouvoir uniquement dans la haute technologie. Que l’on fasse de
l’IA un outil tous-usages ou un seigneur tout-puissant, le résultat est le
déterminisme technologique. L’IA joue un rôle central dans la rédemption ou
la ruine de la société, elle nous permet d’ignorer les forces systémiques du
néolibéralisme débridé, politiques d’austérité, inégalités raciales et exploitation
de la main-d’œuvre. Utopistes et dystopistes mettent toujours la tech au cœur
du problème, et celle-ci se répand dans tous les aspects de la vie, détachée des
formes de pouvoir qu’elle sert et amplifie.
Quand AlphaGo l’emporte sur un grand maître humain, il est tentant
d’imaginer qu’une forme d’intelligence venue d’ailleurs est parmi nous. Mais il
existe une explication bien plus simple et bien plus juste. Les moteurs de jeu IA
sont conçus pour disputer des millions de parties, ils procèdent à des analyses
statistiques afin d’optimiser leur taux de résussite, puis ils en disputent encore
des millions d’autres. Ces programmes font des coups surprenants, rares dans
les parties entre humains, pour une raison très claire: ils peuvent disputer et
analyser bien plus de parties bien plus vite qu’aucun être humain. Ce n’est pas
de la magie; c’est de l’analyse statistique à grande échelle. Pourtant, les récits
sur l’intelligence surnaturelle des machines persistent11. Nous retrouvons
constamment l’idéologie du dualisme cartésien : le fantasme selon lequel les
systèmes d’IA sont des cerveaux désincarnés qui absorbent et produisent du
savoir indépendamment de leurs créateurs, de leurs infrastructures et du
monde plus généralement. Ces illusions nous détournent de questions bien
plus pertinentes. Qui ces systèmes servent-ils? Quelle est l’économie politique
de leur construction? Et quelles en sont les conséquences planétaires?
LES PIPELINES DE L’IA
Envisageons une autre image pour représenter l’IA: les plans du premier centre
de données qu’ait fait construire Google, à The Dalles, dans l’Oregon.
6380mètres carrés de bâtiments, une gigantesque installation dont on estimait
en 2008qu’elle utilisait assez d’énergie pour alimenter quatre-vingt-deux mille
maisons, ou une ville de deux cent mille habitants12. Le centre de données
s’étend à présent le long de la Columbia River, où il profite d’un des
approvisionnements en électricité parmi les moins coûteux en Amérique du
nord. Les lobbyistes de Google ont négocié pendant six mois avec les autorités
locales un accord incluant des exemptions fiscales, la garantie d’une énergie
bon marché et l’usage de la fibre optique de la ville. Contrairement à la vision
abstraite d’un jeu de go, ce plan d’ingénierie révèle combien la vision technique
de Google dépend des services publics, dont les conduites de gaz, les
canalisations d’égouts et les lignes à haute tension par lesquelles passe
l’électricité au rabais. Dans les termes de Ginger Strand, « à travers
l’infrastructure urbaine, les remises accordées par l’État et l’électricité
subventionnée, YouTube est financé par nous13».
Les plans du centre de données nous rappellent combien l’essor de
l’industrie de l’intelligence artificielle a été facilité par les fonds publics :
d’abord par la défense et par les agences fédérales de recherche, puis par les
services d’intérêt public et par des allègements fiscaux, et par le travail non
payé accompli par tous ceux qui utilisent les moteurs de recherche ou qui
publient des images en ligne. L’IA fut d’abord un grand projet public du XXe
siècle, puis fut impitoyablement privatisée afin d’engendrer d’énormes gains
financiers pour une infime minorité au sommet de la pyramide d’extraction.
Ces schémas offrent deux manières différentes de comprendre comment
fonctionne l’IA. J’affirme que tout dépend de la manière dont nous définissons
l’IA, de ses limites et de qui les détermine: cela décide ce que l’on peut voir et
ce que l’on peut contester. Le schéma du jeu de go renvoie aux récits officiels
d’un cloud computationnel abstrait, bien éloigné des ressources terrestres
nécessaires à le produire, un paradigme où l’innovation technique est reine, où
toute réglementation est refusée, et où les coûts réels ne sont jamais révélés. Le
plan nous renvoie à l’infrastructure physique, mais il laisse de côté toutes les
implications environnementales et les accords politiques qui l’ont rendue
possible. Ces visions partielles de l’IA représentent ce que les philosophes
Michael Hardt et Antonio Negri appellent «la double opération d’
abstraction
et d’
extraction
» du capitalisme de l’information : on rend abstraites les
conditions matérielles de production, tout en extrayant toujours plus
d’informations et de ressources14. La description de l’IA comme
fondamentalement abstraite la met à distance de l’énergie, de la main-d’œuvre
et du capital nécessaires pour la produire, ainsi que des différentes formes
d’activité minière qui la rendent possible.
Ce livre a exploré l’infrastructure planétaire de l’IA comme industrie
extractive : de sa genèse matérielle à l’économie politique de ses opérations,
sans oublier les discours qui soutiennent son aura d’immatérialité et
d’inévitabilité. Nous avons vu les enjeux politiques inhérents dans la manière
dont les systèmes d’IA sont entraînés à reconnaître le monde. Et nous avons
observé les formes systématiques d’inégalité qui font de l’IA ce qu’elle est
aujourd’hui. La question centrale est l’imbrication des technologies, du capital
et du pouvoir, dont l’IA n’est que la manifestation la plus récente. Loin d’être
impénétrables et extra-terrestres, ces systèmes sont le produit de structures
socioéconomiques plus larges, aux graves conséquences matérielles.
LA CARTE N’EST PAS LE TERRITOIRE
Comment envisager le cycle de vie complet de l’intelligence artificielle et la
dynamique de pouvoir qui l’anime ? Il faut dépasser la cartographie
conventionnelle pour situer l’IA dans un paysage plus vaste. Les atlas peuvent
provoquer un changement d’échelle, montrer comment les espaces sont reliés
les uns aux autres. Ce livre suggère que les véritables enjeux de l’IA sont les
systèmes mondiaux interconnectés d’extraction et de pouvoir, et non
l’imaginaire technocratique de l’artificiel, de l’abstraction et de
l’automatisation. Si nous voulons comprendre l’IA pour ce qu’elle est, nous
devons voir les structures de pouvoir qu’elle sert.
L’IA naît dans les lacs salés de Bolivie et dans les mines du Congo, elle est
construite à partir d’ensembles de données étiquetées par des
crowdworkers
, qui
cherchent à classer les actions, émotions et identités humaines. Elle est utilisée
pour piloter des drones au-dessus du Yémen, organiser la police de
l’immigration aux États-Unis, et moduler les points de crédit de la valeur et du
risque humains à travers le monde. Il faut adopter une perspective large et
multiscalaire pour aborder ces régimes qui empiètent les uns sur les autres.
Ce livre a commencé sous le sol, là où l’on peut observer de la manière la
plus littérale la politique extractive de l’intelligence artificielle. Les minéraux de
terres rares, l’eau, le charbon et le pétrole: le secteur tech prend dans la terre de
quoi alimenter ses infrastructures très gourmandes en énergie. L’empreinte
carbone de l’IA n’est jamais entièrement reconnue ou comptabilisée par le
secteur, qui étend les réseaux des centres de données tout en aidant l’industrie
pétrolière et gazière à localiser et à dépouiller les réserves de combustibles
fossiles. L’opacité de la chaîne d’approvisionnement de la computation en
général, et de l’IA en particulier, fait partie d’un modèle économique établi de
longue date, qui consiste à extraire la valeur des biens communs tout en évitant
de compenser les dégâts durables.
La main-d’œuvre représente une autre forme d’extraction. Au chapitre 2,
nous nous sommes aventurés au-delà des ingénieurs en apprentissage
automatique, très bien rémunérés, afin d’envisager les autres formes de travail
nécessaires pour faire fonctionner les systèmes d’intelligence artificielle. Des
mineurs extrayant l’étain en Indonésie aux
crowdworkers
indiens qui
accomplissent des tâches pour Mechanical Turk d’Amazon, en passant par les
employés des usines d’iPhones de Foxconn en Chine, la main-d’œuvre
mobilisée par l’IA est bien plus considérable qu’on ne l’imagine d’ordinaire.
Même au sein des entreprises tech, il existe une masse d’ouvriers contractuels,
bien plus nombreux que les employés à plein temps, mais avec bien moins
d’avantages sociaux et sans aucune sécurité d’emploi15.
Dans les nœuds logistiques du secteur tech, on trouve des humains pour
accomplir les tâches dont les machines sont incapables. Il faut des milliers de
personnes pour entretenir l’illusion de l’automatisation : étiqueter, corriger,
évaluer et réviser les systèmes d’IA pour qu’ils semblent irréprochables.
D’autres soulèvent des paquets, conduisent pour les applis de covoiturage, et
livrent de la nourriture. Les systèmes d’IA les surveillent tous, et tirent le
maximum de la simple fonctionnalité des corps humains : les articulations
complexes des doigts, des yeux et des rotules sont plus faciles et moins
coûteuses à se procurer que les robots. Dans ces espaces, l’avenir du travail
ressemble assez aux usines tayloristes d’autrefois, mais avec des bracelets de
poignet qui vibrent quand les employés commettent des erreurs et des pénalités
pour ceux qui vont trop souvent aux toilettes.
Les usages de l’IA sur le lieu de travail aggravent les déséquilibres du pouvoir
en mettant davantage de moyens de contrôle entre les mains des employeurs.
Les applis sont utilisées pour suivre les employés, les pousser à travailler plus
longtemps, et les classer en temps réel. Amazon fournit un exemple canonique
de cette microphysique du pouvoir – qui discipline les corps et leurs
mouvements dans l’espace–connectée à une macrophysique du pouvoir, une
logistique planétaire du temps et de l’information. Les systèmes d’IA exploitent
les différences dans le temps et les salaires à travers les marchés pour accélérer
les circuits du capital. Soudain, dans les centres urbains, tout le monde compte
sur la livraison le jour même. Et le système accélère encore, les conséquences
matérielles étant cachées derrière les cartons, les véhicules de livraison et les
touches «Acheter maintenant».
Dans la couche des données, on peut voir une tout autre géographie
d’extraction. « Nous construisons un miroir du monde réel, déclarait
en2012un ingénieur de Street View (Google). Tout ce que vous voyez dans le
monde réel doit être dans nos bases de données16. » Depuis, la récolte du
monde réel s’est encore intensifiée pour atteindre des espaces jusque-là difficiles
à capturer. Comme nous l’avons vu au chapitre3, le pillage des espaces publics
s’est propagé; les visages des gens dans la rue ont été capturés pour entraîner
les systèmes de reconnaissance faciale; les publications des médias sociaux ont
été ingérées pour créer des modèles prédictifs de langage; des sites où les gens
stockent leurs photos personnelles et ont des discussions en ligne ont été
écumés pour entraîner la vision artificielle et les algorithmes de langage naturel.
Cette pratique est devenue si courante que très peu de personnes la contestent
dans le secteur de l’IA. Cela tient en partie au fait que tant de carrières et
d’évaluations boursières en dépendent. La mentalité « tout collecter », jadis
l’apanage des agences de renseignement, est non seulement normalisée mais
moralisée: ne pas collecter les données partout où c’est possible apparaîtrait
comme du gâchis17.
Une fois les données extraites et ordonnées en ensembles d’entraînement,
elles deviennent le fondement épistémique grâce auquel les systèmes d’IA
classifient le monde. Depuis les premiers ensembles comme ImageNet, MS-
Celeb ou les collections du NIST, les images sont utilisées pour représenter des
idées bien plus relationnelles et discutables que les étiquettes ne l’indiquent. Au
chapitre 4, nous avons vu que les taxonomies d’étiquetage rangent les
personnes dans des catégories de genre binaires, dans des groupements raciaux
simplistes et insultants, et selon une analyse normative et stéréotypée du
caractère, du mérite et de l’état affectif. Ces classifications, qui portent
inévitablement des préjugés, imposent au monde une façon de voir tout en se
revendiquant d’une neutralité scientifique.
Les ensembles de données ne sont jamais des matériaux bruts destinés à
nourrir des algorithmes: il s’agit d’interventions intrinsèquement politiques.
La collecte de données, leur catégorisation et leur étiquetage, puis leur
utilisation pour entraîner des systèmes, toutes ces pratiques sont une forme de
politique. Elles ont fait apparaître ce qu’on appelle les images opérationnelles,
ces représentations du monde exclusivement destinées aux machines18. Le biais
est le symptôme d’un mal plus profond : une logique normative et
centralisatrice qui sert à déterminer comment le monde doit être perçu et
évalué.
Un exemple frappant en est la détection des affects, décrite au chapitre5,
qui s’appuie sur des idées controversées quant à la relation entre visages et
émotions et les applique avec la logique réductrice d’un détecteur de
mensonge. L’aspect scientifique de cette pratique continue à faire débat19. Les
institutions ont toujours classé les personnes selon des catégories qui limitaient
leur identité pour l’adapter à des cases précisément mesurées. L’apprentissage
automatique permet de le faire à grande échelle. Des montagnes de Papouasie-
Nouvelle-Guinée aux labos militaires du Maryland, des techniques ont été
élaborées pour réduire le désordre des sentiments, des états intérieurs et des
préférences à quelque chose de quantitatif, de détectable et de traçable.
À quelle violence épistémologique faut-il se livrer pour rendre le monde
lisible par un système d’apprentissage automatique ? L’IA cherche à
systématiser l’insystématisable, à formaliser le social, et à convertir un univers
infiniment complexe et changeant en un classement à la Linné, fait de tables
lisibles par les machines. Beaucoup des réussites de l’IA reposent sur cette
réduction à un ensemble de formalismes fondé sur des substitutions, qui
identifient et nomment certaines caractéristiques tout en en négligeant ou en
en masquant d’innombrables autres. Pour paraphraser la philosophe Babette
Babich, l’apprentissage automatique exploite ce qu’il sait pour prédire ce qu’il
ne sait pas: c’est un jeu d’approximations répétées. Les ensembles de données
sont aussi des remplacements, qui se substituent à ce qu’ils prétendent mesurer.
Dit simplement, il s’agit de transformer la différence en similitude computable.
Ce schéma de connaissance rappelle ce que Nietzsche décrivait comme « la
falsification de ce qui est polymorphe et non dénombrable en le réduisant à
l’identique, à l’analogue, au dénombrable20 ». Les systèmes d’IA deviennent
déterministes quand ces substitutions sont prises pour la « vérité terrain »,
quand des étiquettes fixes sont appliquées à une complexité fluide. Nous
l’avons vu dans les cas où l’IA sert à prédire le genre, la race ou la sexualité
d’après une photographie de visage21. Ces approches ressemblent à la
phrénologie et à la physiognomonie dans leur désir d’essentialiser et d’imposer
une identité à partir de l’apparence extérieure.
Le problème de la «vérité terrain» pour les systèmes d’IA s’accroît dans le
contexte du pouvoir étatique, comme nous l’avons vu au chapitre 6. Les
agences de renseignement ont ouvert la voie de la collecte massive de données,
où les signatures de métadonnées suffisent à déclencher des frappes de drones
meurtrières, et où la localisation d’un téléphone portable désigne une cible
inconnue. Même là, le langage abstrait des métadonnées et des frappes
chirurgicales est directement contredit par les meurtres involontaires perpétrés
par les missiles de drones22. Comme se le demande Lucy Suchman, comment
des «objets» sont-ils identifiés en tant que menaces imminentes? Nous savons
que « camionnette de l’État islamique » est une catégorie fondée sur des
données étiquetées manuellement, mais qui a choisi les catégories, qui a
identifié les véhicules23 ? Nous avons vu quelles erreurs et confusions
épistémologiques pouvaient contenir des ensembles d’entraînement en
reconnaissance d’objets comme ImageNet; les systèmes militaires d’IA et les
attaques de drones reposent sur les mêmes bases instables.
L’interconnexion profonde entre les secteurs tech et militaire s’inscrit
aujourd’hui dans un solide cadre nationaliste. La rhétorique entourant la
guerre de l’IA entre les États-Unis et la Chine permet aux grandes entreprises
tech d’opérer avec plus de soutien gouvernemental et moins de restrictions.
Pendant ce temps, l’arsenal de surveillance déployé par des agences comme la
NSA et la CIA est désormais utilisé au niveau municipal et dans l’entre-deux
militaro-commercial de contractants comme Palantir. Les immigrants sans
papiers sont traqués par des systèmes logistiques de capture et de contrôle total
de l’information qui étaient jadis réservés à l’espionnage extralégal. En matière
d’aide sociale, les systèmes de décision servent à détecter les modèles anormaux
afin de priver les gens d’allocations chômage ou pour les accuser de fraude. La
lecture automatisée des plaques d’immatriculation est employée par les
systèmes de surveillance privée, intégration généralisée de réseaux jusque-là
séparés24.
Le résultat est une expansion rapide de la surveillance et un brouillage des
frontières entre contractants privés, forces de l’ordre et secteur tech, favorisé
par les renvois d’ascenseur et les accords secrets. C’est un réagencement radical
de la vie des citoyens, où les centres de pouvoir sont renforcés par des outils qui
voient selon la logique du capital, de la police et de la militarisation.
VERS DES MOUVEMENTS CONNECTÉS POUR LA JUSTICE
Si l’IA sert actuellement les structures existantes du pouvoir, une question
s’impose : ne devrions-nous pas chercher à la démocratiser ? Ne pourrait-il
exister une IA pour le peuple, qui se réoriente vers la justice et l’égalité plutôt
que vers la discrimination et l’extraction industrielle ? Cette perspective est
attrayante, mais comme nous l’avons vu tout au long de ce livre, les
infrastructures et les formes de pouvoir qui permettent l’IA et sont permises
par elle penchent fortement en faveur d’une centralisation du contrôle. Vouloir
démocratiser l’IA pour réduire l’asymétrie du pouvoir, c’est un peu comme
vouloir démocratiser la fabrication d’armes au service de la paix. Comme nous
le rappelle Audre Lorde, les outils du maître ne serviront jamais à détruire la
maison du maître25.
Il est temps que le secteur tech rende des comptes. À ce jour, une réaction
courante consiste à signer des principes éthiques pour l’IA. Comme l’a
remarqué la députée européenne Marietje Schaake, on dénombrait en2019,
rien qu’en Europe, 128 cadres éthiques pour l’IA26. Ces documents sont
souvent présentés comme le fruit d’un «large consensus» en la matière. Mais
ils émanent surtout de pays économiquement développés, sans grande
représentation de l’Afrique, de l’Amérique centrale et du sud, ou de l’Asie
centrale. La voix des peuples les plus victimes des systèmes d’IA manque dans
les processus qui les produisent27. Par ailleurs, ces principes et chartes éthiques
n’évoquent pas la question de leur mise en place, et sont rarement responsables
devant le grand public. Ainsi que le note Shannon Mattern, on se focalise
généralement sur les fins éthiques de l’IA, sans évaluer les moyens éthiques de
son application28. Contrairement à la médecine ou au droit, l’IA n’a pas de
structure ou de normes de gouvernance professionnelle, pas de définitions et
d’objectifs acceptés pour le domaine, pas de protocoles standards pour imposer
des pratiques éthiques29.
Les cadres éthiques auto-réglementés permettent aux entreprises de choisir
comment déployer les technologies et, par extension, de décider ce que l’IA
éthique signifie pour le reste du monde30. Les entreprises tech souffrent
rarement de graves pénalités financières quand leurs systèmes d’IA enfreignent
la loi, et encore moins quand leurs principes éthiques sont violés. Souvent, les
entreprises cotées en bourse sont soumises à la pression de leurs actionnaires
pour maximiser le retour sur investissement au détriment des préoccupations
éthiques, qui sont secondaires par rapport aux profits. L’éthique est donc
nécessaire mais pas suffisante pour répondre aux inquiétudes fondamentales
évoquées ici.
Pour comprendre ce qui est en jeu, nous devons nous focaliser moins sur
l’éthique et davantage sur le pouvoir. L’IA est invariablement conçue pour
amplifier et reproduire les formes de pouvoir qu’elle doit optimiser. Pour aller à
l’encontre de ce processus, il faut se concentrer sur les intérêts des
communautés les plus affectées31. Au lieu de glorifier les fondateurs
d’entreprises, les investisseurs en capital risque et les visionnaires de la tech,
nous devrions commencer par le vécu de ceux qui sont privés de pouvoir,
victimes de discrimination, et auxquels nuisent les systèmes d’IA. Quand
quelqu’un parle d’«éthique de l’IA», nous devrions évaluer les conditions de
travail des mineurs, des fournisseurs et des
crowdworkers.
Quand nous
entendons le mot «optimisation», nous devrions demander s’il s’agit d’outils
pour le traitement inhumain des immigrés. Quand les gens applaudissent
«l’automatisation à grande échelle», nous devrions nous rappeler l’empreinte
carbone qui en résulte, alors que la planète est déjà soumise à un stress extrême.
Comment œuvrer pour la justice dans tous ces systèmes?
En 1986, le politologue Langdon Winner décrivait une société « engagée
dans la fabrication de réalités artificielles» sans se soucier des dégâts que cela
entraînerait pour les conditions de vie : « De vastes transformations dans la
structure de notre monde commun ont été entreprises sans guère prêter
attention à ce que signifient ces modifications. […] Dans le domaine
technique nous entrons constamment dans des contrats sociaux dont les termes
ne sont révélés qu’après signature32.»
En quatre décennies, ces transformations ont pris une ampleur qui a modifié
la composition chimique de l’atmosphère, la température de la surface de la
planète, et le contenu de la croûte terrestre. Le décalage entre l’accueil réservé à
la haute technologie et ses conséquences sur le long terme n’a fait que se
creuser. Le contrat social, si tant est qu’il y en ait jamais eu un, a entraîné une
crise climatique, des inégalités de richesses toujours plus criantes, la
discrimination raciale, la surveillance généralisée et l’exploitation de la main-
d’œuvre. Mais l’hypothèse selon laquelle ces transformations se seraient
produites dans l’ignorance de leurs résultats possibles constitue une partie du
problème. Le philosophe Achille Mbembe critique sévèrement l’idée que nous
ne pouvions pas prévoir ce qu’allaient devenir les systèmes de savoir du XXIe
siècle, puisqu’ils ont toujours été des «opérations d’abstraction qui prétendent
rationaliser le monde sur la base des logiques de l’entreprise33 ». Dans une
interview, il déclare: «Il s’agit d’extraction, de capture, du culte des données,
de la marchandisation de la capacité humaine de réflexion et du rejet de la
raison critique en faveur de la programmation […]. Aujourd’hui plus que
jamais, nous avons besoin d’une nouvelle critique de la haute technologie, de
l’expérience de la vie technique34.»
L’avenir aura aussi besoin de trouver des espaces au-delà de la vie technique,
en renversant le dogme de l’inévitabilité. Quand l’expansion rapide de l’IA
apparaît comme irrésistible, on ne peut qu’assembler après coup quelques
restrictions juridiques et techniques : nettoyer les ensembles de données,
renforcer les lois sur le respect de la vie privée, créer des comités d’éthique.
Mais ce ne seront jamais là que des réactions incomplètes, où la haute
technologie vient en premier, tout le reste devant ensuite s’adapter. Que se
passerait-il si nous inversions cette polarité, en commençant par un
engagement en faveur d’un monde plus juste et plus durable ? Comment
intervenir pour affronter les enjeux interdépendants de l’injustice sociale,
économique et climatique? Où la tech sert-elle cette vision? Et quels sont les
lieux où l’IA ne devrait pas être utilisée, où elle sape la justice?
Telle est la base d’une nouvelle politique du refus, d’opposition aux récits de
l’inévitabilité technologique, selon lesquels «Si cela peut être fait, ce sera fait».
Au lieu de demander où sera appliquée l’IA, simplement parce qu’elle peut
l’être, nous devrions demander
pourquoi
elle doit être appliquée. En
demandant « Pourquoi utiliser l’intelligence artificielle ? » nous pouvons
contester l’idée que tout devrait être soumis à la logique de la prédiction
statistique et de l’accumulation du profit, ce que Donna Haraway appelle
«informatique de la domination35». On entrevoit ce refus à l’œuvre quand
une population choisit de démanteler la police préventive, d’interdire la
reconnaissance faciale ou de protester contre la notation algorithmique.
Jusqu’ici, ces petites victoires ont été locales et partielles, souvent centrées dans
des villes où les ressources d’organisation sont plus nombreuses, comme
Londres, San Francisco, Hong Kong et Portland, dans l’Oregon. Mais elles
indiquent le besoin de plus larges mouvements nationaux et internationaux
pour refuser les approches privilégiant la tech et pour lutter contre les injustices
sous-jacentes. Pour refuser, il faut rejeter l’idée que les mêmes outils qui servent
le capital, l’armée et la police peuvent aussi transformer les écoles, les hôpitaux,
les villes et les écologies, comme s’ils étaient des calculateurs de valeur neutres
qui s’appliquent partout.
C’est lorsqu’ils sont unis que les appels à la justice pour la main-d’œuvre, le
climat et les données se révèlent les plus puissants. Surtout, je vois le plus grand
espoir dans les mouvements en plein essor qui s’attaquent à l’interrelation du
capitalisme, de la computation et du contrôle, en réunissant les questions de
justice climatique, de droits des travailleurs, de justice raciale, de protection des
données et des abus de pouvoir de la police et de l’armée. En rejetant les
systèmes qui aggravent les inégalités et la violence, nous bravons les structures
de pouvoir que l’IA renforce ordinairement et nous créons les bases d’une
société différente36. Comme le note Ruha Benjamin, « Derrick Bell le
formulait ainsi: “Pour voir les choses telles qu’elles sont réellement, il faut les
imaginer telles qu’elles pourraient être”. Nous créons les modèles et nous
devons changer le contenu de nos modèles existants37». Pour cela, il faudra
vaincre les enchantements du solutionnisme tech et adopter les solidarités
alternatives–ce que Mbembe appelle «une autre manière politique d’habiter
la Terre, de réparer et de partager la planète38 ». Il existe une politique
collective durable par-delà l’extraction de valeur; il existe des biens communs
qui méritent d’être préservés, des univers au-delà du marché, et des moyens de
vivre par-delà la discrimination et les modes d’optimisation brutale. Notre
tâche est de tracer l’itinéraire qui nous y mènera.
1Silver
et al
., «Mastering the Game of Go without Human Knowledge».
2
Ibid
., p.357.
3Entretien complet sur The Artificial Intelligence Channel: Demis Hassabis,
«DeepMind, Learning from First Principles». Voir aussi Knight, «Alpha
Zero’s “Alien” Chess Shows the Power».
4Demis Hassabis, «DeepMind, Learning from First Principles».
5Pour plus de détails sur les mythes de la «magie» dans l’IA, voir Elish et
Boyd, «Situating Methods in the Magic of Big Data and AI».
6 Meredith Broussard remarque que jouer à des jeux est dangereusement
assimilé à l’intelligence. Elle cite le programmeur George V. Neville-Neil,
qui affirme: «Voilà près de50ans que l’humain et l’ordinateur s’affrontent
aux échecs, mais cela signifie-t-il qu’un seul de ces ordinateurs soit
intelligent? Non, pas du tout, et pour deux raisons. La première, c’est que
les échecs ne sont pas une preuve d’intelligence ; ils prouvent une
compétence spécifique, savoir jouer aux échecs. Si je pouvais battre un
Grand Maître aux échecs mais que j’étais incapable de vous passer le sel à
table, serais-je intelligent? La deuxième raison, c’est que l’association échecs-
intelligence repose sur un faux postulat culturel selon lequel les grands
joueurs d’échecs sont des esprits brillants, plus doués que leur entourage.
Oui, beaucoup de personnes intelligentes brillent aux échecs, mais les
échecs, pas plus qu’une autre compétence, ne sont une preuve
d’intelligence.» Broussard,
Artificial Unintelligence
, p.206.
7Galison, «The Ontology of the Enemy».
8Campolo et Crawford, «Enchanted Determinism».
9Bailey, «Dimensions of Rhetoric in Conditions of Uncertainty», p.30.
10Bostrom,
Superintelligence
.
11
Ibid
.
12Strand, «Keyword: Evil», p.64-65.
13
Ibid
., p.65.
14Hardt et Negri,
Assembly
, p.116(c’est moi qui souligne).
15Wakabayashi, «Google’s Shadow Work Force».
16Cité dans McNeil, «Two Eyes See More Than Nine», p.23.
17 Sur l’idée des données comme capital, voir Sadowski, « When Data Is
Capital».
18Harun Farocki évoqué dans Paglen, «Operational Images».
19Pour un résumé, voir Heaven, «Why Faces Don’t Always Tell the Truth».
20Nietzsche,
Fragments posthumes (automne1884-automne 1885)
, 34 [252],
p.234-235.
21 Wang et Kosinski, « Deep Neural Networks Are More Accurate Than
Humans » ; Kleinberg
et al
., « Human Decisions and Machine
Predictions»; Crosman, «Is AI a Threat to Fair Lending?»; Seo
et al
.,
«Partially Generative Neural Networks».
22Pugliese, «Death by Metadata».
23Suchman, «Algorithmic Warfare and the Reinvention of Accuracy».
24Simmons, «Rekor Software Adds License Plate Reader Technology».
25Lorde,
Master’s Tools
.
26Schaake, «What Principles Not to Disrupt».
27Jobin, Ienca et Vayena, «Global Landscape of AI Ethics Guidelines».
28Mattern, «Calculative Composition», p.572.
29 Pour savoir pourquoi les cadres éthiques de l’IA sont d’une efficacité
limitée, voir Crawford
et al
.,
AI Now2019Report
.
30Mittelstadt, «Principles Alone Cannot Guarantee Ethical AI». Voir aussi
Metcalf, Moss et Boyd, «Owning Ethics».
31Pour des travaux récents qui traitent des étapes concrètes importantes pour
y parvenir sans reproduire les formes d’extraction et de préjudice, voir
Costanza-Chock,
Design Justice
.
32Winner,
La Baleine et le Réacteur
.
33Mbembe,
Critique de la raison nègre
, p.13.
34Bangstad
et al
., «Thoughts on the Planetary».
35Haraway,
Des singes, des cyborgs et des femmes
.
36Mohamed, Png et Isaac, «Decolonial AI», p.405.
37Benjamin, «Race after Technology».
38Bangstad
et al
., «Thoughts on the Planetary».
Coda
L’espace
Un compte à rebours est enclenché. La diffusion du film commence. Les
moteurs situés à la base du lanceur spatial Saturn V s’allument, et la fusée
s’apprête à décoller. On entend la voix de Jeff Bezos: «Depuis l’âge de5ans,
quand Neil Armstrong a marché sur la Lune, je suis passionné par l’espace, les
fusées, les moteurs de fusée, le voyage aérien. » Apparaît un défilé d’images
inspirantes: des alpinistes sur des sommets, des explorateurs descendant dans
des canyons, un plongeur nageant dans l’océan parmi un banc de poissons.
Retour sur Bezos, qui ajuste ses écouteurs, dans une salle de contrôle
pendant un lancement. La voix-off poursuit : « C’est le travail le plus
important auquel je m’attelle. L’argument est simple: c’est la meilleure planète.
Et nous devons donc faire un choix. À mesure que nous avançons, nous allons
devoir décider si nous voulons une civilisation de la stase–il faudra limiter la
population, limiter l’usage d’énergie par habitant – ou si nous pouvons
résoudre le problème en partant conquérir l’espace1.»
La bande-son s’affole, et les images de l’espace intersidéral alternent avec des
vues des autoroutes bondées de Los Angeles. « Von Braun a dit, après que
l’homme s’est posé sur la Lune, “J’ai appris à utiliser le mot
impossible
avec
beaucoup de prudence”. Et j’espère que vous adopterez la même règle dans
votre vie2.»
Cette scène vient d’une vidéo promotionnelle pour la société aérospatiale
privée de Jeff Bezos, Blue Origin. La devise de l’entreprise est
Gradatim
Ferociter
(«Pas à pas, avec férocité»). À court terme, Blue Origin construit des
fusées réutilisables et des modules de descente lunaire, testés dans sa base
suborbitale de l’ouest du Texas. D’ici 2024, la société veut envoyer
régulièrement des astronautes et des marchandises vers la Lune3. Mais à plus
long terme, sa mission est bien plus ambitieuse: rendre possible un avenir où
des millions de gens vivront et travailleront dans l’espace. Très précisément,
Bezos espère créer de gigantesques colonies spatiales, où les gens vivront dans
des environnements flottants4. L’industrie lourde quitterait entièrement la
planète, afin de découvrir de nouveaux lieux d’extraction. Pendant ce temps, la
Terre serait réservée aux bâtiments résidentiels et à l’industrie légère, afin de
rester «un bel endroit où vivre, un bel endroit à visiter», sans doute pour ceux
qui auront les moyens d’y habiter, au lieu de travailler dans les colonies
spatiales5.
Bezos détient un pouvoir industriel extraordinaire et en plein essor. Amazon
continue à s’accaparer une part toujours plus grande du commerce américain
en ligne, Amazon Web Services représente près de la moitié de l’industrie du
cloud computing
et, selon certaines estimations, le site d’Amazon attire plus de
recherches de produit que Google6. Malgré tout, Bezos est inquiet. Il craint
que nos besoins croissants en énergie n’épuisent bientôt l’offre de la planète.
Pour lui, le principal souci « n’est pas nécessairement l’extinction » mais la
stase
: «Nous devrons mettre un terme à notre croissance, ce qui me paraît une
très mauvaise perspective7.»
Bezos n’est pas seul à le penser. Plusieurs milliardaires enrichis par la tech
ont les yeux tournés vers l’espace. Planetary Resources, que dirige le père de la
Fondation X Prize, Peter Diamandis, et que soutiennent les investissements de
Larry Page et d’Eric Schmidt (Google), visait à créer la première mine
commerciale de l’espace en forant les astéroïdes8. Elon Musk, directeur général
de Tesla et de SpaceX, a annoncé son intention de coloniser Mars
d’ici100ans–tout en reconnaissant que, pour cela, les premiers astronautes
devront «être prêts à mourir9». Musk préconise aussi de terraformer la surface
de Mars en vue d’une implantation humaine en faisant exploser des armes
nucléaires aux pôles10. SpaceX vend un T-shirt arborant le slogan NUKE MARS,
invitation à y envoyer la bombe. Musk s’est également lancé dans ce qui est
peut-être le plus coûteux de tous les efforts de relations publiques, lorsqu’il a
mis une voiture Tesla en orbite héliocentrique sur une fusée Falcon Heavy de
SpaceX. Les chercheurs estiment que le véhicule restera dans l’espace des
millions d’années, avant de revenir s’écraser sur la Terre11.
L’idéologie de ces spectacles spatiaux est étroitement liée à celle du secteur
IA. La richesse et le pouvoir extrêmes générés par les sociétés technologiques
permettent à présent à un petit groupe d’hommes de se livrer à leur propre
course à l’espace, strictement privée. Ils exploitent le savoir et les infrastructures
des programmes spatiaux publics du XXe siècle et dépendent souvent de
financements gouvernementaux et d’avantages fiscaux12. Leur but n’est pas de
limiter l’extraction et la croissance, mais de l’étendre à travers le système
solaire. En réalité, ces tentatives relèvent autant d’un
imaginaire
de l’espace, de
croissance infinie et d’immortalité que des possibilités incertaines et
déplaisantes de la véritable colonisation de l’espace.
Bezos trouve en partie son inspiration chez le physicien et auteur de science-
fiction Gerard K. O’Neill. En 1976, il a écrit
Les Villes de l’espace : vers le
peuplement, l’industrialisation et la production d’énergie dans l’espace
, ouvrage
dans lequel il invente une colonisation spatiale, avec de superbes illustrations
détaillées des mines créées sur la Lune13. Le projet de Bezos pour Blue Origin
vient de cette vision bucolique d’une implantation humaine permanente, pour
laquelle aucune technologie n’existe encore14. O’Neill était motivé par « le
choc et l’effroi » ressentis en lisant le fameux
Rapport sur les limites de la
croissance
publié en1972par le Club de Rome15. Ce document incluait des
données exhaustives et des modèles prédictifs sur la fin des ressources non
renouvelables et l’impact de la croissance démographique, le développement
durable et l’avenir de l’humanité sur la Terre16. Comme le résume Fred
Scharmen, spécialiste d’architecture et de planification:
Les modèles du Club de Rome calculent le résultat de différents
ensembles de présupposés de départ. Ces scénarios, extrapolés à partir des
tendances alors en cours, montrent un effondrement des ressources et de
la population avant l’année2100. Même lorsqu’ils doublent les chiffres
des réserves de ressources connues, les modèles s’effondrent, à un niveau
un peu plus élevé, mais toujours avant2100. Quand ils supposent que la
technologie rendra accessible des ressources « illimitées », la population
s’effondre
encore plus rapidement
à cause de pics de pollution. Si on
introduit le contrôle de la pollution, la population s’effondre par manque
de nourriture. Dans les modèles qui augmentent la capacité agricole, la
population déborde les contrôles antérieurs, et elle s’effondre en même
temps que l’approvisionnement en nourriture17.
Selon le
Rapport sur les limites de la croissance
, le passage à une gestion
durable et une réutilisation des ressources était la réponse pour que la société
mondiale connaisse la stabilité à long terme; réduire l’écart entre nations riches
et pauvres était la clé de la survie. Pourtant, le
Rapport
ne prévoyait pas le vaste
ensemble de systèmes interconnectés qui forment aujourd’hui l’économie
globale, il n’imaginait pas comment des formes de forage jusque-là non
rentables se justifieraient un jour, entraînant de plus grands dégâts
environnementaux, la dégradation des terres et des eaux, et un épuisement
accéléré des ressources.
En écrivant
Les Villes de l’espace
, O’Neill voulait imaginer une autre issue au
modèle de croissance zéro qu’une limitation de la production et de la
consommation18. En supposant que l’espace était une solution, O’Neill
redirigeait l’anxiété planétaire des années 1970, causée par les pénuries
d’essence et les crises pétrolières, en proposant la vision de structures spatiales
sereines et stables qui pourraient à la fois préserver le statu quo et offrir de
nouvelles possibilités. «Si la Terre n’a pas assez de surface disponible, alors les
humains devraient simplement en créer davantage», recommandait O’Neill19.
Il serait temps de régler plus tard les détails scientifiques et économiques
(comment ce modèle fonctionnerait-il et comment serait-il financé?); seul le
rêve comptait20.
Que la colonisation de l’espace et l’exploitation de nouvelles frontières
minières soient devenues les fantasmes communs des milliardaires de la tech
révèle un rapport à la Terre fondamentalement inquiétant. Leur vision d’avenir
n’inclut pas de minimiser les forages pétroliers et gaziers, de réduire la
consommation des ressources, ou même de limiter les pratiques d’exploitation
de la main-d’œuvre grâce auxquelles ils se sont enrichis. Le discours de l’élite
tech fait souvent écho au colonialisme d’autrefois : il faut déplacer la
population de la Terre et capturer des territoires pour l’extraction de minerais.
La course à l’espace des milliardaires de la Silicon Valley suppose que les
derniers biens communs – l’espace intersidéral – peuvent être conquis par
l’empire qui y parviendra le premier. Et cela en dépit de la principale
convention régissant cette forme d’extraction, le Traité de l’Espace signé
en 1967, qui reconnaît que l’espace est « l’intérêt commun de toute
l’humanité» et que toute exploration ou utilisation «devrait se faire pour le
bien de tous les peuples21».
En 2015, Blue Origin et SpaceX ont fait pression sur le Congrès et sur
l’administration Obama pour que soit appliqué le Space Act, loi favorisant la
concurrence entre lancements spatiaux commerciaux22. Ce texte exempte les
entreprises de toute réglementation fédérale jusqu’en2023, et leur permet de
s’approprier les ressources minières extraites des astéroïdes et d’en conserver les
profits23. Cette législation va directement à l’encontre de l’idée de l’espace
comme bien commun, et crée une incitation commerciale à « partir à sa
conquête24».
L’espace est devenu l’ambition impériale suprême, symbole d’une fuite hors
des limites de la Terre, des corps et des lois. Il n’est peut-être pas étonnant que
tant de membres de l’élite de la Silicon Valley s’impliquent dans cet abandon
de la planète. La colonisation de l’espace s’accorde bien avec les autres
fantasmes de prolongement de la vie, de transfusions de sang prélevé sur des
adolescents, de téléchargement du cerveau dans le cloud, et de vitamines
assurant l’immortalité25. La publicité de Blue Origin s’inscrit tout à fait dans
cet utopisme sombre. C’est une invitation murmurée à devenir l’Übermensch,
le Surhomme, à transcender toutes les limites: biologiques, sociales, éthiques
et écologiques. Mais ces visions du meilleur des mondes semblent surtout
motivées par la peur: la peur de la mort, individuelle et collective, et la peur
d’un épuisement du temps.
Me revoici au Nouveau-Mexique pour la dernière partie de mon voyage. Au
volant du4x4, je quitte Albuquerque et je roule vers le sud, vers la frontière
du Texas. En chemin, je fais un détour devant la façade rocheuse du San
Augustin Peak et je descends vers White Sands, d’où les États-Unis ont lancé
en 1946 la première fusée contenant un appareil photo. Cette mission était
dirigée par Wernher von Braun, ancien directeur technique du programme de
missiles allemand. Après la guerre, il avait fui vers l’Amérique, et il avait
entrepris des expériences sur des V2 confisqués, ces missiles qu’il avait
auparavant aidé à concevoir, tirés sur les Alliés dans toute l’Europe. Cette fois,
il les envoyait vers le haut, dans l’espace. La fusée s’éleva jusqu’à cent
kilomètres, prenant des photos toutes les secondes et demie, avant de s’écraser
dans le désert du Nouveau-Mexique. La pellicule survécut dans un boîtier en
acier, révélant une courbe un peu floue mais bien semblable à celle de la
Terre26.
Il est remarquable que Bezos ait choisi de citer von Braun dans sa publicité
pour Blue Origin. Concepteur de fusées pour le Troisième Reich, von Braun
avoua avoir utilisé la main-d’œuvre esclave des camps de concentration pour
construire ses V2; certains le considèrent comme un criminel de guerre27. Plus
de gens sont morts dans les camps à construire les fusées que ces fusées n’en
ont tué pendant la guerre28. Mais on connaît bien mieux le travail de von
Braun à la tête du Marshall Space Flight Center de la NASA, où il participa à
l’élaboration de la fusée Saturn V29. Illuminé par le prestige d’Apollo11, lavé
de son passé, cet homme qui refusait de croire à l’impossible est devenu le
héros de Jeff Bezos.
Après avoir traversé El Paso, je prends la Route 62 en direction des Salt
Basin Dunes. Nous sommes en fin d’après-midi, les couleurs commencent à
s’épanouir parmi les cumulus. À un carrefour, je tourne à droite et la route
longe la Sierra Diablo. C’est le pays de Bezos. La première indication est un
grand ranch en retrait de la chaussée, avec un panneau fixé à une barrière
blanche, où on lit «Figure2» en lettres rouges. C’est le ranch que Bezos a
acheté en2004, dans cette région où il possède1200hectares30. Cette contrée
a un passé colonial violent: l’une des dernières batailles entre les Texas Rangers
et les Apaches a eu lieu à l’ouest de ce site en1881, et neuf ans plus tard, le
ranch fut créé par l’éleveur James Monroe Daugherty, ancien officier de la
cavalerie des Confédérés31.
Tout près, une route latérale conduit vers le site de lancement suborbital de
Blue Origin. La voie d’accès privée est bloquée par une barrière d’un bleu
éclatant, où des avertissements signalent que la zone est sous surveillance vidéo,
avec un poste de garde hérissé de caméras. Je reste sur l’autoroute et je me gare
sur le bas-côté au bout de quelques minutes. D’ici, la vue s’étend à travers la
vallée jusqu’au site d’atterrissage, où l’on teste les fusées pour ce qui devrait être
la première mission humaine Blue Origin dans l’espace. Les voitures
franchissent les barrières, les employés pointent en commençant leur journée
de travail.
Les hangars qui délimitent la base ont un air improvisé, provisoire, dans
cette étendue aride du Bassin permien. L’immensité de la vallée est
interrompue par une dépression ronde, l’aire d’atterrissage avec un logo de
plume peint au centre, où les fusées réutilisables de Blue Origin sont censées se
poser. C’est tout ce qu’il y a à voir. C’est une infrastructure privée en cours de
construction, gardée et clôturée, un imaginaire technoscientifique de pouvoir,
d’extraction et de fuite, voulu par l’homme le plus riche de la planète. C’est
une protection contre la Terre.
La lumière décline, des nuages gris acier se déplacent dans le ciel. Le désert
paraît argenté, parsemé de buissons de sauge blancs et d’amas de tuf volcanique
ponctuant ce qui était autrefois le fond d’une grande mer intérieure. Après
avoir pris une photo, je repars vers le4x4pour mon dernier trajet, jusqu’à la
ville de Marfa. C’est seulement en m’éloignant que je prends conscience d’être
suivie. Deux pickups Chevrolet noirs me talonnent avec agressivité. Je me gare
dans l’espoir qu’ils me doubleront. Ils se garent aussi. Personne ne bouge. Après
avoir attendu quelques minutes, je redémarre lentement. Cette sinistre escorte
me suit jusqu’à la limite de la vallée qu’envahit la pénombre.
1
Blue Origin’s Mission
.
2
Ibid.
3Powell, «Jeff Bezos Foresees a Trillion People Living in Millions of Space
Colonies».
4Bezos, «Going to Space to Benefit Earth».
5
Ibid.
6Foer, «Jeff Bezos’s Master Plan».
7
Ibid.
8Planetary Resources, «Why Asteroids».
9 Welch, « Elon Musk : First Humans Who Journey to Mars Must “Be
Prepared to Die”».
10Cuthbertson, «Elon Musk Really Wants to “Nuke Mars”».
11Rein, Tamayo et Vokrouhlicky, «Random Walk of Cars».
12Gates, «Bezos’ Blue Origin Seeks Tax Incentives».
13Marx, «Instead of Throwing Money at the Moon»; O’Neill,
Les Villes de
l’espace
.
14«Our Mission».
15Davis, «Gerard K. O’Neill on Space Colonies».
16Meadows
et al
., «Rapport sur les limites de la croissance».
17Scharmen,
Space Settlements
, p.216. Ces dernières années, des chercheurs
ont laissé entendre que les modèles du Club de Rome étaient trop
optimistes, en sous-estimant le taux rapide d’extraction et de consommation
des ressources à travers le monde, et les conséquences climatiques des gaz à
effet de serre et des rejets thermiques industriels. Voir Turner, «Is Global
Collapse Imminent?».
18 Le modèle de croissance zéro, qui suppose de rester sur la Terre, a été
défendu par de nombreux universitaires du mouvement anti-croissance.
Voir, par exemple, Trainer,
Renewable Energy Cannot Sustain a Consumer
Society
.
19Scharmen,
Space Settlements
, p.91.
20On peut se demander à quoi aurait ressemblé la mission Bezos si elle avait
été inspirée par l’auteur de science-fiction Philip K. Dick, qui a écrit la
nouvelle « Autofab » en 1955. Les survivants humains d’une guerre
apocalyptique se retrouvent sur Terre avec les « autofabs », des machines
industrielles autonomes et autoreproductibles. Avant la guerre, les autofabs
étaient chargées de produire des biens de consommation mais ne pouvaient
plus s’arrêter, consommant les ressources de la planète et menaçant la survie
des derniers humains. La seule solution était de tromper leur intelligence
artificielle et qu’elles se battent entre elles pour un élément crucial dans leur
processus de fabrication : le tungstène, une terre rare. Le stratégie semble
avoir réussi, la vigne vierge commence à envahir les usines, et les fermiers
peuvent retourner à la terre. Ce n’est que plus tard qu’ils comprennent que
les autofabs sont parties chercher des ressources dans le noyau terrestre et
qu’elles lanceront bientôt des milliers de «graines» auto-reproductrices pour
exploiter le reste de la galaxie. Dick, «Autofab».
21NASA, «Outer Space Treaty of1967».
22U.S. Commercial Space Launch Competitiveness Act.
23Wilson, «Top Lobbying Victories of2015».
24Shaer, «Asteroid Miner’s Guide to the Galaxy».
25 Comme l’écrit Mark Andrejevic dans
Automated Media
, p. 1 : « La
promesse de l’immortalité technologique est inséparable de l’automatisation,
qui propose de supplanter partout les limites humaines».
26Reichhardt, «The First Photo from Space».
27 Voir, par exemple, le récit du journaliste Wayne Biddle, lauréat du Prix
Pulitzer, qui décrit von Braun comme un criminel de guerre ayant participé
aux brutalités dans les camps de travail forcé sous le régime nazi. Biddle,
Dark Side of the Moon.
28Grigorieff, «The Mittelwerk/Mittelbau/Camp Dora».
29Ward,
Dr. Space
.
30Keates, «The Many Places Amazon CEO Jeff Bezos Calls Home».
31Center for Land Use Interpretation, «Figure2Ranch, Texas».
Remerciements
Tout livre est un projet collectif, et plus il prend de temps à écrire, plus ce
collectif est nombreux.
Le Contre-atlas de l’IA
m’a demandé plusieurs années, et
a été rendu possible par les amis, collègues, collaborateurs et co-aventuriers qui
m’ont accompagnée. Il y eut bien des conversations en fin de soirée, bien des
cafés au petit matin, bien des voyages et des tables rondes, et tout cela a donné
vie à ce livre. J’éprouve assez de gratitude pour remplir un volume distinct,
mais ces quelques mots devront suffire pour le moment.
D’abord, pour les chercheurs et amis dont le travail a laissé l’empreinte la
plus profonde sur cet ouvrage : Mike Ananny, Geoffrey Bowker, Benjamin
Bratton, Simone Browne, Wendy Chun, Vladan Joler, Alondra Nelson,
Jonathan Sterne, Lucy Suchman, Fred Turner et McKenzie Wark. Merci à Jer
Thorp pour les journées passées à écrire côte à côte, pour la compassion et les
réjouissances (selon les semaines).
Au fil des années, j’ai eu la chance d’être membre de nombreuses
communautés de recherche qui m’ont énormément appris. Beaucoup de
chercheurs et d’ingénieurs font de Microsoft Research un endroit à part, et je
suis heureuse d’être membre du group FATE et du Social Media Collective.
Merci à Ifeoma Ajunwa, Peter Bailey, Solon Barocas, Nancy Baym, Christian
Borgs, Margarita Boyarskaya, danah boyd, Sarah Brayne, Jed Brubaker, Bill
Buxton, Jennifer Chayes, Tressie McMillan Cottom, Hal Daume, Jade Davis,
Fernando Diaz, Kevin Driscoll, Miro Dudik, Susan Dumais, Megan Finn,
Timnit Gebru, Tarleton Gillespie, Mary L. Gray, Dan Greene, Caroline Jack,
Adam Kalai, Tero Karppi, Os Keyes, Airi Lampinen, Jessa Lingel, Sonia
Livingstone, Michael Madaio, Alice Marwick, J. Nathan Matias, Josh
McVeigh-Schultz, Andrés Monroy-Hernández, Dylan Mulvin, Laura Norén,
Alexandra Olteanu, Aaron Plasek, Nick Seaver, Aaron Shapiro, Luke Stark,
Lana Swartz, TL Taylor, Jenn Wortman Vaughan, Hanna Wallach et Glen
Weyl. Je n’aurais pu m’instruire auprès d’une constellation plus brillante de
savants.
Je dois des remerciements particuliers à tous ceux qui ont participé à la
création de l’AI Now Institute de NYU: Alejandro Calcaño Bertorelli, Alex
Butzbach, Roel Dobbe, Theodora Dryer, Genevieve Fried, Casey Gollan, Ben
Green, Joan Greenbaum, Amba Kak, Elizabeth Kaziunas, Varoon Mathur, Erin
McElroy, Andrea Nill Sánchez, Mariah Peebles, Deb Raji, Joy Lisi Rankin,
Noopur Raval, Dillon Reisman, Rashida Richardson, Julia Bloch Thibaud,
Nantina Vgontzas, Sarah Myers West et Meredith Whittaker.
Je suis toujours reconnaissante envers les extraordinaires chercheurs
australiens qui m’ont soutenue dès le départ, dont Kath Albury, Mark
Andrejevic, Genevieve Bell, Jean Burgess, Chris Chesher, Anne Dunn, Gerard
Goggin, Melissa Gregg, Larissa Hjorth, Catharine Lumby, Elspeth Probyn, Jo
Tacchi et Graeme Turner. La route est longue, mais elle me ramène toujours au
pays.
Ce livre a beaucoup bénéficié du travail de plusieurs assistants de recherche,
lecteurs et archivistes au fil des années, tous formidables spécialistes de leurs
domaines respectifs. Merci à Sally Collings, Sarah Hamid, Rebecca Hoffman,
Caren Litherland, Kate Miltner, Léa Saint-Raymond et Kiran Samuel, qui
m’ont aidée à penser plus dur, à retrouver des sources, à accéder à des archives
et à compléter des notes de fin de volume. Merci surtout à Alex Campolo pour
la profondeur de ses connaissances en histoire des sciences au XXe siècle: c’est
une joie de travailler avec lui. Elmo Keep fut un interlocuteur stimulant, et Joy
Lisi Rankin une éditrice perspicace. Plusieurs archivistes ont généreusement
aidé ce projet, mais en particulier Janet Monge, conservatrice des crânes de
Samuel Morton, et Henri Moltke aux archives Snowden.
Je dois énormément à Joseph Calamia. Merci d’avoir cru en ce projet, merci
d’avoir eu la patience de me laisser entreprendre tous les voyages nécessaires.
Merci aussi à Bill Frucht et à Karen Olson de Yale University Press pour l’avoir
accompagné jusqu’à terme.
J’ai une immense dette envers les institutions qui m’ont invitée et m’ont
donné le temps d’écrire. Merci à l’École Normale Supérieure de Paris, où j’ai
inauguré la chaire «IA et Justice», à la Robert Bosch Academy in Berlin, où
j’ai été Richard von Weizsäcker Fellow, et à l’Université de Melbourne pour la
bourse Miengunyah Distinguished Visiting Fellowship. Les equips de toutes
ces institutions se sont montrées si accueillantes et ont élargi le contexte de cet
atlas. Pour avoir rendu tout cela possible, merci à Anne Bouverot, Tanya
Perelmuter, Mark Mezard, la Fondation Abeona, Sandra Breka, Jannik Rust et
Jeannie Paterson.
J’ai développé au fil d’une décennie les idées présentes dans ce livre lors de
colloques, d’expositions et de conférences, dans les domaines variés :
architecture, art, droit, étude des médias, étude des sciences et technologies,
études culturelles, géographie critique, informatique, philosophie. Alors que
j’élaborais ce projet, J’ai reçu un feedback essentiel de mon auditoire dans ces
différentes institutions: Australian National University, California Institute of
Technology, Columbia University, Haus der Kulturen der Welt, MIT, National
Academy of Science, New York University, Royal Society of London,
Smithsonian Museum, University of New South Wales, Yale University, École
Normale Supérieure, et lors des colloques NeurIPS, AoIR et ICML.
Le contenu de différents chapitres provient d’articles publiés auparavant,
que j’ai considérablement adaptés à ce nouveau contexte, et j’aimerais nommer
tous les coauteurs et les revues avec lesquels j’ai eu l’honneur de collaborer:
« Enchanted Determinism : Power without Responsibility in Artificial
Intelligence»,
Engaging Science, Technology, and Society
6 (2020): 1-19(avec
Alex Campolo) ; « ‘Excavating AI : The Politics of Images in Machine
Learning Training Sets»,
AI and Society
2020(avec Trevor Paglen); «Alexa,
Tell Me about Your Mother : The History of the Secretary and the End of
Secrecy»,
Catalyst: Feminism, Theory, Technoscience
6, no1(2020) (avec Jessa
Lingel); «AI Systems as State Actors»,
Columbia Law Review
119(2019):
1941-1972 (avec Jason Schultz) ; « Halt the Use of Facial-Recognition
Technology until It Is Regulated»,
Nature
572(2019): 565; «Dirty Data,
Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive
Policing Systems, and Justice»,
NYU Law Review Online
94, no15(2019):
15-55 (avec Rashida Richardson et Jason Schultz) ; « Anatomy of an AI
System: The Amazon Echo as an Anatomical Map of Human Labor, Data and
Planetary Resources»,
AI Now Institute
et
Share Lab
, 7septembre2018(avec
Vladan Joler); «Datasheets for Datasets», Proceedings of the Fifth Workshop
on Fairness, Accountability, and Transparency in Machine Learning,
Stockholm, 2018(avec Timnit Gebru, Jamie Morgenstern, Briana Vecchione,
Jennifer Wortman Vaughan, Hanna Wallach et Hal Daumeé III) ; « The
Problem with Bias : Allocative Versus Representational Harms in Machine
Learning», SIGCIS Conference 2017(avec Solon Barocas, Aaron Shapiro, and
Hanna Wallach) ; « Limitless Worker Surveillance »,
California Law
Review
105, no3 (2017): 735-776(avec Ifeoma Ajunwa et Jason Schultz);
« Can an Algorithm Be Agonistic ? Ten Scenes from Life in Calculated
Publics»,
Science, Technology and Human Values
41(2016): 77-92; «Asking
the Oracle», in
Astro Noise
, dir. Laura Poitras (New Haven: Yale University
Press, 2016), 128-141 ; « Seeing without Knowing : Limitations of the
Transparency Ideal and Its Application to Algorithmic Accountability»,
New
Media and Society
20, no3 (2018): 973-989(avec Mike Ananny); «Where
Are the Human Subjects in Big Data Research ? The Emerging Ethics
Divide»,
Big Data and Society
3, no1(2016) (avec Jake Metcalf); «Exploring
or Exploiting ? Social and Ethical Implications of Autonomous
Experimentation in AI », Workshop on Fairness, Accountability, and
Transparency in Machine Learning (FAccT), 2016 (avec Sarah Bird, Solon
Barocas, Fernando Diaz et Hanna Wallach) ; «There Is a Blind Spot in AI
Research »,
Nature
538 (2016) : 311-313 (avec Ryan Calo) ; « Circuits of
Labour : A Labour Theory of the iPhone Era »,
TripleC : Communication,
Capitalism and Critique
, 2014(avec Jack Qiu et Melissa Gregg); «Big Data
and Due Process: Toward a Framework to Redress Predictive Privacy Harms»,
Boston College Law Review
55, no 1 (2014) (avec Jason Schultz) ; et
«Critiquing Big Data: Politics, Ethics, Epistemology»,
International Journal of
Communications
8 (2014): 663-672(avec Kate Miltner et Mary Gray).
Outre les articles, j’ai eu la chance participer à des rapports rédigés avec
l’équipe de l’AI Now Institute, qui ont influencé ce livre:
AI Now2019Report
,
AI Now Institute, 2019(avec Roel Dobbe, Theodora Dryer, Genevieve Fried,
Ben Green, Amba Kak, Elizabeth Kaziunas, Varoon Mathur, Erin McElroy,
Andrea Nill Sánchez, Deborah Raji, Joy Lisi Rankin, Rashida Richardson,
Jason Schultz, Sarah Myers West et Meredith Whittaker) ; « Discriminating
Systems: Gender, Race and Power in AI», AI Now Institute, 2019(avec Sarah
Myers West et Meredith Whittaker);
AI Now Report018
, AI Now Institute,
2018 (avec Meredith Whittaker, Roel Dobbe, Genevieve Fried, Elizabeth
Kaziunas, Varoon Mathur, Sarah Myers West, Rashida Richardson, Jason
Schultz et Oscar Schwartz); «Algorithmic Impact Assessments: A Practical
Framework for Public Agency Accountability», AI Now Institute, 2018(avec
Dillon Reisman, Jason Schultz et Meredith Whittaker);
AI Now 2017Report
,
AI Now Institute, 2017(avec Alex Campolo, Madelyn Sanfilippo et Meredith
Whittaker) ; et
AI Now 2016 Report
, NYU Information Law Institute,
2016 (avec Madeleine Clare Elish, Solon Barocas, Aaron Plasek, Kadija
Ferryman et Meredith Whittaker).
Enfin, parce que ce livre n’existerait pas sans eux: Trevor Paglen, veritable
boussole, de l’exploration du desert jusqu’aux enquêtes archéologiques; Vladan
Joler, ami en cartographie, dont les images éclairent ce livre et ma réflexion;
Laura Poitras, qui m’a donné le courage ; Karen Murphy, pour son œil de
conceptrice graphique; Adrian Hobbes et Edwina Throsby, pour m’avoir fait
traverser les flammes; Bo Daley, qui a tout amélioré; et ma famille, Margaret,
James, Judith, Claudia, Cliff et Hilary. Je dois aussi une gratitude éternelle à
Jason et Elliott, mes cartographes préférés.
Bibliographie
«A Strategy for Surveillance Powers»,
The New York Times
, 23 février2012: w
ww.nytimes.com/interactive/2013/11/23/us/politics/23nsa-sigint-strategy-d
ocument.html.
Abbate, Janet,
Inventing the Internet
, MIT Press, 1999.
Abraham, David S.,
The Elements of Power
:
Gadgets, Guns, and the Struggle for
a Sustainable Future in the Rare Metal Age
, Yale University Press, 2017.
Achtenberg, Emily, «Bolivia Bets on State-Run Lithium Industry», NACLA,
15novembre2010: nacla.org/news/bolivia-bets-state-run-lithium-industry.
Ackerman, Spencer, «41Men Targeted but1,147People Killed: US Drone
Strikes–the Facts on the Ground»,
The Guardian
, 24novembre2014: ww
w.theguardian.com/us-news/2014/nov/24/-sp-us-drone-strikes-kill-1147.
Adams, Guy, «Lost at Sea: On the Trail of Moby-Duck»,
Independent
,
27février2011: www.independent.co.uk/environ-ment/nature/lost-at-sea-o
n-the-trail-of-moby-duck-2226788.html.
Affectiva, «Affectiva Human Perception AI Analyzes Complex Human
States»: www.affectiva.com.
Agre, Philip E.,
Computation and Human Experience
, Cambridge University
Press, 1997.
Agüera y Arcas, Blaise, Margaret Mitchell et Alexander Todorov.
«Physiognomy’s New Clothes»,
Medium
, 7mai2017: medium.com/@blai
sea/physiognomys-new-clothes-f2d4b59fdd6a.
AI Now Institute, «Organizing Tech» (vidéo), octobre2019: www.youtube.c
om/watch?v=jLeOyIS1jwc.
Ajunwa, Ifeoma, Kate Crawford et Jason Schultz, «Limitless Worker
Surveillance»,
California Law Review
, vol. 105, no3, 2017: doi.org/10.157
79/z38br8mf94.
Ajunwa, Ifeoma, et Daniel Greene, «Platforms at Work: Automated Hiring
Platforms and other new Intermediaries in the Organization of Work»,
Work and Labor in the Digital Age
, Steven P. Vallas et Anne Kovalainen
(dir.), Emerald, 2019.
Alden, William. «Inside Palantir, Silicon Valley’s Most Secretive Company»,
BuzzFeed News
, 6mai2016: www.buzzfeednews.com/article/williamalden/i
nside-palantir-silicon-valleys-most-secretive-company.
Aleksander, Igor, (dir.),
Artificial Vision for Robots
, Springer US, 1983.
Amazon, «Garantie limitée d’un an pour les appareils Amazon»: www.amazo
n.fr/gp/help/customer/display.html?nodeId=201311110.
—, «Neighbors by Ring: Appstore for Android»: www.amazon.com/Ring-N
eighbors-by/dp/B07V7K49QT.
Amazon Web Services, «Amazon Rekognition améliore l’analyse faciale»,
12août2019: aws.amazon.com/fr/about-aws/whats-new/2019/08/amazon-
rekognition-improves-face-analysis.
—, «Automatisez l’analyse de vos images et vidéos avec le machine learning»:
aws.amazon.com/fr/rekognition/?blog-cards.sort-by=item.additwionalFields.
createdDate&blog-cards.sort-order=desc
«An Open Letter»: ethuin.files.wordpress.com/2014/09/09092014-open-lett
er-final-and-list.pdf.
Ananny, Mike, et Kate Crawford, «Seeing without Knowing: Limitations of
the Transparency Ideal and Its Application to Algorithmic Accountability»,
New Media&Society
, vol. 20, no3, 2018: doi.org /10.1177/14614448166
76645.
Anderson, Warwick,
The Collectors of Lost Souls
:
Turning Kuru Scientists into
Whitemen
, Johns Hopkins University Press, 2019.
Andrae, Anders A. E., et Tomas Edler, «On Global Electricity Usage of
Communication Technology: Trends to2030»,
Challenges
, vol. 6, no1,
2015: doi.org/10.3390/challe6010117.
Andrejevic, Mark,
Automated Media
, Routledge, 2020.
Angwin, Julia,
et al.
, «Machine Bias»,
ProPublica
, 23mai2016: www.propub
lica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
Angwin, Julia,
et al.
, «Dozens of Companies Are Using Facebook to Exclude
Older Workers from Job Ads»,
ProPublica
, 20 décembre2017: www.propu
blica.org/article/facebook-ads-age-discrimination-targeting.
Anti-Eviction Mapping Project, «Counterpoints: An Atlas of Displacement
and Resistance»: antievictionmap.com.
Anzilotti, Eillie, «Emails Show That ICE Uses Palantir Technology to Detain
Undocumented Immigrants»,
FastCompany
, 16juillet2019: www.fastcom
pany.com/90377603/ice-uses-palantir-tech-to-detain-immigrants-wnyc-repo
rt.
Apelbaum, Yaacov, «One Thousand and One Nights and Ilhan Omar’s
Biographical Engineering»,
The Illustrated Primer
, 13août 2019: apelbau
m.wordpress.com/2019/08/13/one-thousand-and-one-nights-and-ilhan-om
ars-biographical-engineering.
Apple, «Apple s’engage à être100% neutre en carbone sur sa chaîne logistique
et tous ses produits d’ici2030», 21juillet2020: www.apple.com/fr/newsro
om/2020/07/apple-commits-to-be-100-percent-carbon-neutral-for-its-suppl
y-chain-and-products-by-2030.
—, «Supplier Responsibility2018Progress Report»: www.apple.com/supplie
r-responsibility/pdf/Apple_SR_2018_Progress_Report.pdf.
Arboleda, Martin,
Planetary Mine
:
Territories of Extraction under Late
Capitalism
, Verso, 2020.
Aristote,
Organon III
.
Les Premiers Analytiques
, trad. J. Tricot, Vrin, 2001.
Aslam, Salman, «Facebook by the Numbers (2019): Stats,
Demographics&Fun Facts», Omnicore, 6janvier2020: www.omnicoreag
ency.com/facebook-statistics.
Ayogu, Melvin, et Zenia Lewis, «Conflict Minerals: An Assessment of the
Dodd-Frank Act»,
Brookings Institution
, 3octobre2011: www.brookings.e
du/opinions/conflict-minerals-an-assessment-of-the-dodd-frank-act.
Aytes, Ayhan, «Return of the Crowds: Mechanical Turk and Neoliberal States
of Exception»,
Digital Labor
:
The Internet as Playground and Factory
,
Trebor Scholz (dir.), Routledge, 2013.
Babbage, Charles,
Traité sur l’économie des machines et des manufactures,
trad. É.
Biot, Bachelier, 1833?; Hachette-BNF, 2017.
Babich, Babette E.,
Nietzsche’s Philosophy of Science
:
Reflecting Science on the
Ground of Art and Life
, State University of New York Press, 1994.
Bailey, F. G, «Dimensions of Rhetoric in Conditions of Uncertainty»,
Politically Speaking
:
Cross-Cultural Studies of Rhetoric
, Robert Paine (dir.),
ISHI Press, 1981.
Baker, Janet M.,
et al.
, «Research Developments and Directions in Speech
Recognition and Understanding, Part1»,
IEEE Signal Processing Magazine
,
vol. 26, no3, 2009: dspace.mit.edu/handle/1721.1/51891.
Bangstad, Sindre,
et al
., «Thoughts on the Planetary: An Interview with
Achille Mbembé»,
New Frame
, 5septembre2019: www.newframe.com/th
oughts-on-the-planetary-an-interview-with-achille-mbembe.
Barrett, Lisa Feldman, «Are Emotions Natural Kinds?»,
Perspectives on
Psychological Science
, vol. 1, no1, 2006: doi.org/10.1111/j.1745-6916.200
6.00003.x.
Barrett, Lisa Feldman,
et al.
, «Emotional Expressions Reconsidered:
Challenges to Inferring Emotion from Human Facial Movements»,
Psychological Science in the Public Interest
, vol. 20, no1, 2019: doi.org /10.1
177/1529100619832930.
Bayer, Ronald,
Homosexuality and American Psychiatry
:
The Politics of
Diagnosis
, Princeton University Press, 1987.
Bechmann, Anja, et Geoffrey C. Bowker, «Unsupervised by Any Other
Name: Hidden Layers of Knowledge Production in Artificial Intelligence
on Social Media»,
Big Data&Society
, vol. 6, no1, 2019: doi.org/10.1177/
2053951718819569.
Beck, Julie, «Hard Feelings: Science’s Struggle to Define Emotions»,
The
Atlantic
, 24février2015: www.theatlantic.com/health/archive/2015/02/har
d-feelings-sciences-struggle-to-define-emotions/385711.
Behrmann, Elisabeth, Jack Farchy, et Sam Dodge, «Hype Meets Reality as
Electric Car Dreams Run into Metal Crunch»,
Bloomberg
, 11janvier2018:
www.bloomberg.com/graphics/2018-cobalt-batteries.
Belkhir, L., et A. Elmeligi, «Assessing ICT Global Emissions Footprint:
Trends to2040&Recommendations»,
Journal of Cleaner Production
, vol.
177, 2018: doi.org/10.1016/j.jclepro.2017.12.239.
Benjamin, Ruha,
Race after Technology
:
Abolitionist Tools for the New Jim Code
,
Polity, 2019.
Benson, Kristina, «“Kill ’Em and Sort It Out Later”: Signature Drone Strikes
and International Humanitarian Law»,
Pacific McGeorge Global
Business&Development Law Journal
, vol. 27, no1, 2014: scholarlycommon
s.pacific.edu/cgi/viewcontent.cgi?article=1001&context=globe.
Benthall, Sebastian, et Bruce D. Haynes, «Racial Categories in Machine
Learning»,
FAT* ’19: Proceedings of the Conference on Fairness,
Accountability, and Transparency
, ACM Press, 2019: dl.acm.org/doi/10.114
5/3287560.3287575.
Berg, Janine,
et al
.,
Les Plateformes de travail numérique et l’avenir du travail.
Pour un travail décent dans le monde en ligne
, Organisation internationale du
travail, 2019: www.ilo.org/wcmsp5/groups/ public/---dgreports/---dcomm/-
--publ/documents/publication/ wcms_721011.pdf.
Bergen, Mark, «Pentagon Drone Program Is Using Google AI»,
Bloomberg
,
6mars2018: www.bloomberg.com/news/arti-cles/2018-03-06/google-ai-us
ed-by-pentagon-drone-program-in-rare-military-pilot.
Berkman Klein Center for Internet&Society at Harvard University,
«Colonized by Data: The Costs of Connection with Nick Couldry and
Ulises Mejías», 19septembre2019: cyber.har-vard.edu/events/colonized-da
ta-costs-connection-nick-couldry-and-ulises-mejias.
Berman, Sanford,
Prejudices and Antipathies
:
ATract on the LC Subject Heads
concerning People
, Scarecrow Press, 1971.
Bezos, Jeff, «Going to Space to Benefit Earth» (vidéo), 10mai 2019: www.yo
utube.com/watch?v=GQ98hGUe6FM&.
Biddle, Wayne,
Dark Side of the Moon
:
Wernher von Braun, the Third Reich,
and the Space Race
, W. W. Norton, 2012.
Black, Edwin,
IBM et l’Holocauste
, trad. O. Demange, Robert Laffont, 2001.
Bledsoe, W. W., «The Model Method in Facial Recognition», Technical
Report, PRI15, Panoramic Research, Inc., 1964.
Bloomfield, Anne B., «A History of the California Historical Society’s New
Mission Street Neighborhood»,
California History
, vol. 74, no4, 1995: doi.
org/10.2307/25177533.
Blue, Violet, «Facebook Patents Tech to Determine Social Class»,
Engadget
,
9février2018: www.engadget.com/2018-02-09-facebook-patents-tech-to-d
etermine-social-class.html.
Blue Origin, «Our Mission»: www.blueorigin.com/our-mission?; «Blue
Origin’s Mission» (vidéo), 2février2019: www.youtube.com/watch?v=1Y
OL89kY8Og.
Bond Jr., Charles F., «Commentary: A Few Can Catch a Liar, Sometimes:
Comments on Ekman and O’Sullivan (1991), as Well as Ekman,
O’Sullivan, and Frank (1999)»,
Applied Cognitive Psychology
, vol. 22, no9,
2008: doi.org/10.1002/acp.1475.
Borges, Jorge Luis, «La Langue analytique de John Wilkins»,
Enquêtes
:
1937-
1952
, trad. P. et S. Bénichou, Gallimard, 1957.
—, «La Bibliothèque de Babel»,
Fictions
, trad R. Caillois, N. Ibarra et P.
Verdevoye, Folio, 2018.
Bostrom, Nick,
Superintelligence
, trad. F. Parot, Dunod, 2017.
Bouche, Teryn, et Laura Rivard, «America’s Hidden History: The Eugenics
Movement»,
Scitable
, 18septembre2014: www.nature.com/scitable/forum
s/genetics-generation/america-s-hidden-history-the-eugenics-movement-123
919444.
Bowker, Geoffrey C.,
Memory Practices in the Sciences
, MIT Press, 2005.
Bowker, Geoffrey C., et Susan Leigh Star,
Sorting Things Out
:
Classification
and Its Consequences
, MIT Press, 1999.
Bratton, Benjamin H.,
Le Stack. Plateformes, logiciel et souveraineté
, trad. C.
Degoutin, UGA Éditions, 2019.
Braverman, Harry,
Travail et capitalisme monopoliste. La D
égradation du travail
au XXI
e siècle
, trad. D. Letellier et S. Niémetz, Maspero, 1976.
Brayne, Sarah, «Big Data Surveillance: The Case of Policing»,
American
Sociological Review
, vol. 82, no5, 2017: doi.org/10.1177/00031224177258
65.
Brechin, Gray,
Imperial San Francisco
:
Urban Power, Earthly Ruin
, University
of California Press, 2007.
Brewer, Eric, «Spanner, TrueTime and the CAP Theorem», Infrastructure
Google, 14février2017: storage.googleapis.com/pub-tools-public-publicati
on-data/pdf/45855.pdf.
Bridle, James, «Something Is Wrong on the Internet»,
Medium
,
6novembre2017: medium.com/@jamesbridle/something-is-wrong-on-the-
internet-c39c471271d2.
Broussard, Meredith,
Artificial Unintelligence
:
How Computers Misunderstand
the World
, MIT Press, 2018.
Brown, Harold,
Department of Defense Annual Report
:
Fiscal Year1982
, Report
AD-A-096066/6, Washington, DC, janvier19, 1982: history.defense.gov/P
ortals/70/Documents/annual_reports/1982_DoD_AR.pdf?ver=2014-06-24-
150904-113.
Brown, Peter, et Robert Mercer, «Oh, Yes, Everything’s Right on Schedule,
Fred», conférence prononcée dans le cadre de l’atelier Twenty Years of
Bitext, colloque Empirical Methods in Natural Language Processing, Seattle,
octobre2013: cs.jhu.edu/∼post/bitext.
Browne, Simone,
Dark Matters
:
On the Surveillance of Blackness
, Duke
University Press, 2015.
—, «Digital Epidermalization: Race, Identity and Biometrics»,
Critical
Sociology
, vol. 36, no1, 2010: doi.org/10.1177/0896920509347144.
Brustein, Joshua, et Mark Bergen, «Google Wants to Do Business with the
Military–Many of Its Employees Don’t»,
Bloomberg Businessweek
,
21novembre2019: www.bloomberg.com/features/2019-google-military-co
ntract-dilemma.
Bullis, Kevin, «Lithium-Ion Battery»,
MIT Technology Review
, 19 juin2012:
www.technologyreview.com/s/428155/lithium-ion-battery.
Buolamwini, Joy, et Timnit Gebru, «Gender Shades: Intersectional Accuracy
Disparities in Commercial Gender Classification»,
Proceedings of the First
Conference on Fairness, Accountability and Transparency, PLMR
, vol. 81,
2018: proceedings.mlr.press/v81/ buolamwini18a.html.
Burke, Jason, «Congo Violence Fuels Fears of Return to90s Bloodbath»,
The
Guardian
, 30juin2017: www.theguardian.com/world/2017/jun/30/congo-
violence-fuels-fears-of-return-to-90s-bloodbath.
Bush, Vannevar, «AsWe MayThink»,
The Atlantic
, juillet1945: www.theatla
ntic.com/magazine/archive/1945/07/as-we-may-think/303881.
Business Council for Sustainable Energy (BCSE), «2019Sustainable Energy in
America Factbook», 11février2019: www.bcse.org/wp-content/uploads/20
19-Sustainable-Energy-in-America-Factbook.pdf.
Byford, Sam, «Apple Buys Emotient, a Company That Uses AI to Read
Emotions»,
The Verge
, 7janvier2016: www.the-verge.com/2016/1/7/1073
1232/apple-emotient-ai-startup-acquisition.
California State Auditor, «The CalGang Criminal Intelligence System»,
Report2015-130, août2016: www.auditor.ca.gov/pdfs/reports/2015-130.p
df.
Calo, Ryan, et Danielle Citron, «The Automated Administrative State: A
Crisis of Legitimacy»,
Emory Law Journal
(à paraître)?; version
de9mars2020disponible sur SSRN: ssrn.com/abstract=3553590.
Cameron, Dell, et Kate Conger, «Google Is Helping the Pentagon Build AI
for Drones»,
Gizmodo
, 6mars2018: gizmodo.com/goo-gle-is-helping-the-
pentagon-build-ai-for-drones-1823464533.
Campolo, Alexander, et Kate Crawford, «Enchanted Determinism: Power
without Responsibility in Artificial Intelligence»,
Engaging Science,
Technology, and Society
, vol. 6, 2020: doi.org/10.17351/ests2020.277.
Canales, Jimena,
A Tenth of a Second
:
A History
, University of Chicago Press,
2010.
Carey, James W., «Technology and Ideology: The Case of the Telegraph»,
Prospects
, vol8, 1983: doi.org/10.1017/S0361233300003793.
Carlisle, Nate, «NSA Utah Data Center Using More Water»,
The Salt Lake
Tribune
, 2février2015: archive.sltrib.com/article.php?id=2118801&itype
=CMSID.
—, «Shutting Off NSA’s Water Gains Support in Utah Legislature»,
The Salt
Lake Tribune
, 20novembre2014: archive.sltrib.com/article.php?id=184584
3&itype=CMSID.
Carter, Ash, «Remarks on “the Path to an Innovative Future for Defense”
(CSIS Third Offset Strategy Conference)», U.S. Department of Defense,
Washington, D.C., 28octobre2016: www.defense.gov/Newsroom/Speeche
s/Speech/Article/990315/remarks-on-the-path-to-an-innovative-future-for-d
efense-csis-third-offset-strat.
Cave, Stephen, et Seán S. ÓhÉigeartaigh, «An AI Race for Strategic
Advantage: Rhetoric and Risks»,
Proceedings of the2018AAAI/
ACMConference on AI, Ethics, and Society
: doi/10.1145/3278721.3278780.
Center for Land Use Interpretation, «Figure2Ranch, Texas»: www.clui.org/l
udb/site/figure-2-ranch.
Cetina, Karin Knorr,
Epistemic Cultures
:
How the Sciences Make Knowledge
,
Harvard University Press, 1999.
Champs, Emmanuelle (de), «The Place of Jeremy Bentham’s Theory of
Fictions in Eighteenth-Century Linguistic Thought»,
Journal of Bentham
Studies
, vol. 2, no1, 1999: discovery.ucl.ac.uk/id/eprint/647/1/002__1999
__EdChamps_1999.pdf.
«Chinese Lithium Giant Agrees to Three-Year Pact to Supply Tesla»,
Bloomberg
, 21septembre2018: www.industryweek.com/leader-ship/article/
22026386/chinese-lithium-giant-agrees-to-three-year-pact-to-sup ply-tesla.
Chinoy, Sahil, «Opinion: The Racist History behind Facial Recognition»,
The New York Times
, 10juillet2019: www.nytimes.com/2019/07/10/opini
on/facial-recognition-race.html.
Chun, Wendy Hui Kyong,
Control and Freedom
:
Power and Paranoia in the
Age of Fiber Optics
, MIT Press, 2005.
Citton, Yves,
Pour une écologie de l’attention
, Seuil, 2014.
Clarac, François, Jean Massion, et Allan M. Smith, «Duchenne, Charcot and
Babinski, Three Neurologists of La Salpêtrière Hospital, and Their
Contribution to Concepts of the Central Organization of Motor Synergy»,
Journal of Physiology–Paris
, vol. 103, no6, 2009: doi.org/10.1016/j.jphysp
aris.2009.09.001.
Clark, Nicola, et Simon Wallis, «Flamingos, Salt Lakes and Volcanoes:
Hunting for Evidence of Past Climate Change on the High Altiplano of
Bolivia»,
GeologyToday
, vol. 33, no3, 2017): doi.org/10.1111/gto.12186.
Clauss, Sidonie, «John Wilkins’ Essay toward a Real Character: Its Place in
the Seventeenth-Century Episteme»,
Journal of the History of Ideas
, vol. 43,
no4, 1982: doi.org/10.2307/2709342.
«“Clever Hans” Again: Expert Commission Decides That the Horse Actually
Reasons»,
The New York Times
, 2octobre1904: times-machine.nytimes.co
m/timesmachine/1904/10/02/120289067.pdf.
Cochran, Susan D.,
et al.
, «Proposed Declassification of Disease Categories
Related to Sexual Orientation in the International Statistical Classification
of Diseases and Related Health Problems (ICD-11)»,
Bulletin of the World
Health Organization
, vol. 92, no9, 2014: doi.org/10.2471/BLT.14.135541.
Cohen, Julie E.,
Between Truth and Power
:
The Legal Constructions of
Informational Capitalism
, Oxford University Press, 2019.
Cole, David, «“We Kill People Based on Metadata”»,
The New York Review of
Books
, 10mai2014: www.nybooks.com/daily/2014/05/10/we-kill-people-b
ased-metadata.
Colligan, Colette, et Margaret Linley, (dir.),
Media, Technology, and Literature
in the Nineteenth Century
:
Image, Sound, Touch
, Ashgate, 2011.
Connolly, William E.,
Climate Machines, Fascist Drives, and Truth
, Duke
University Press, 2019.
Connor, Neil, «Chinese School Uses Facial Recognition to Monitor Student
Attention in Class»,
The Telegraph
, 17mai2018: www.telegraph.co.uk/new
s/2018/05/17/chinese-school-uses-facial-recognition-monitor-student-attent
ion.
Cook, Gary,
et al
.,
Clicking Clean
:
Who Is Winning the Race to Build a Green
Internet
?, Greenpeace, 2017: www.actu-environnement.com/media/pdf/ne
ws-28245-clicking-clean-2017.pdf?; www.clickclean.org/international/fr.
Cook, James, «Amazon Patents New Alexa Feature That Knows When You’re
Ill and Offers You Medicine»,
The Telegraph
, 9 octobre2018: www.telegrap
h.co.uk/technology/2018/10/09/amazon-patents-new-alexa-feature-knows-o
ffers-medicine.
Coole, Diana, et Samantha Frost (dir.),
New Materialisms
:
Ontology, Agency,
and Politics
, Duke University Press, 2012.
Cooper, Carolyn C., «The Portsmouth System of Manufacture»,
Technology
and Culture
, vol. 25, no2, 1984: doi.org/10.2307/3104712.
Corbett, James C.,
et al.
, «Spanner: Google’s Globally-Distributed Database»,
Proceedings of OSDI2012
: www.usenix.org/system/files/conference/osdi12/
osdi12-final-16.pdf.
Costanza-Chock, Sasha,
Design Justice
:
Community-Led Practices to Build the
Worlds We Need
, MIT Press, 2020.
Couldry, Nick, et Ulises A. Mejías,
The Costs of Connection
:
How Data Is
Colonizing Human Life and Appropriating It for Capitalism
, Stanford
University Press, 2019.
—, «Data Colonialism: Rethinking Big Data’s Relation to the Contemporary
Subject»,
Television&New Media
, vol. 20, no4, 2019: doi.org/10.1177/15
27476418796632.
Council on Hemispheric Affairs, «A Grey Goldmine: Recent Developments
in Lithium Extraction in Bolivia and Alternative Energy Projects»,
17novembre2009: www.coha.org/a-grey-goldmine-recent-developments-i
n-lithium-extraction-in-bolivia-and-alternative-energy-projects.
Courtine, Jean-Jacques, et Claudine Haroche,
Histoire du visage. Exprimer et
taire ses émotions (du XVIe siècle au début du XIXe siècle)
, Payot, 2007.
Cowen, Alan,
et al.,
«Mapping the Passions: Toward a High-Dimensional
Taxonomy of Emotional Experience and Expression»,
Psychological Science
in the Public Interest
, vol. 20, no1, 2019: doi.org/10.1177/1529100619850
176.
Crawford, Kate, «Halt the Use of Facial-Recognition Technology until It Is
Regulated»,
Nature
, 27août2019: www.nature.com/articles/d41586-019-
02514-7.
Crawford, Kate, et Vladan Joler, «Anatomy of an AI System», Anatomy of an
AI System, 2018: www.anatomyof.ai.
Crawford, Kate, et Jason Schultz, «AI Systems as State Actors»,
Columbia Law
Review
, vol. 119, no7, 2019: columbialawreview.org/content/ai-systems-as-
state-actors.
—, «Big Data and Due Process: Toward a Framework to Redress Predictive
Privacy Harms»,
Boston College Law Review
, vol. 55, no1, 2014: lawdigital
commons.bc.edu/cgi/viewcontent.cgi?article=3351&context=bclr.
Crawford, Kate,
et al
.,
AI Now2019Report
, AI Now Institute: ainowinstitute.
org/AI_Now_2019_Report.html.
Crevier, Daniel, À la recherche de l’intelligence artificielle, trad. N. Bucsek,
Champs Flammarion, 1999.
Crosman, Penny, «Is AI a Threat to Fair Lending?»,
American Banker
,
7septembre2017: www.americanbanker.com/news/is-artificial-intelligence-
a-threat-to-fair-lending.
Currier, Cora, Glenn Greenwald, et Andrew Fishman, «U.S. Government
Designated Prominent Al Jazeera Journalist as “Member of Al Qaeda”»,
The
Intercept
, 8mai2015: theintercept.com/2015/05/08/u-s-government-desig
nated-prominent-al-jazeera-journalist-al-qaeda-member-put-watch-list.
Curry, Steven,
et al.
, «NIST Special Database32: Multiple Encounter Dataset
I (MEDS-I)», National Institute of Standards and Technology,
NISTIR7679, décembre2009: nvlpubs.nist.gov/nistpubs/Legacy/IR/nistir
7679.pdf.
Cuthbertson, Anthony, «Elon Musk Really Wants to “Nuke Mars”»,
Independent
, 19août2019: www.independent.co.uk/life-style/gadgets-and-t
ech/news/elon-musk-mars-nuke-spacex-t-shirt-nuclear-weapons-space-a906
9141.html.
Danowski, Déborah, et Eduardo Batalha Viveiros de Castro,
The Ends of the
World
, trad. Rodrigo Guimaraes Nunes, Polity, 2017.
Danziger, Shai, Jonathan Levav, et Liora Avnaim-Pesso, «Extraneous Factors in
Judicial Decisions»,
PNAS
, vol. 108, no17, 2011: www.pnas.org/content/1
08/17/6889.
Darwin, Charles,
L’Expression des émotions chez l’homme et les animaux
, trad.
Dominique Féraut, Rivages, 2001.
Dastin, Jeffrey, «Amazon Scraps Secret AI Recruiting Tool That Showed Bias
against Women»,
Reuters
, 10octobre2018: www.reuters.com/article/us-am
azon-com-jobs-automation-insight-idUSKCN1MK08G.
Daston, Lorraine, «Cloud Physiognomy»,
Representations
, vol. 135, no1,
2016: 45-71: doi.org/10.1525/rep.2016.135.1.45.
Daston, Lorraine, et Peter Galison,
Objectivité
, trad. S. Renaut et H. Quiniou,
Presses du Réel, 2012.
Davies, Kate, et Liam Young,
Tales from the Dark Side of the City
:
The
Breastmilk of the Volcano, Bolivia and the Atacama Desert Expedition
,
Unknown Fields, 2016.
Davis, F. James,
Who Is Black
?
One Nation’s Definition
, Pennsylvania State
University Press, 2001.
Davis, Monte, «Gerard K. O’Neill on Space Colonies»,
Omni Magazine
,
12octobre2017: omnimagazine.com/interview-gerard-k-oneill-space-colon
ies.
Delaporte, François,
Anatomie des passions
, PUF, 2003.
Dell, «Responsible Minerals Sourcing»: www.dell.com/learn/us/en/uscorp1/c
onflict-minerals?s=corp.
Demis Hassabis, «DeepMind, Learning from First Principles, Artificial
Intelligence NIPS2017» (vidéo), The Artificial Intelligence Channel,
9décembre2017: www.youtube.com/watch?v=DXNqYSNvnjA&feature=e
mb_title.
Deng, Jia,
et al.
, «ImageNet: A Large-Scale Hierarchical Image Database»,
2009IEEE Conference on Computer Vision and Pattern Recognition
: doi.org/
10.1109/CVPR.2009.5206848.
Department of International Cooperation Ministry of Science and Technology
(MOST), République populaire de Chine, «Next Generation Artificial
Intelligence Development Plan»,
China Science&Technology Newsletter
,
no17, 15septembre2017: fi.china-embassy.org/eng/kxjs/P0201710257891
08009001.pdf.
Derrida, Jacques,
Mal d’archive. Une impression freudienne
, Galilée, 1995.
Dick, Philip K., «Autofab»,
Nouvelles1953-1963
, trad. D. Halin et H.
Collon, Denoël, 1997.
Didi-Huberman, Georges,
Atlas ou Le gai savoir inquiet
, Minuit, 2011.
Dietterich, Thomas, et Eun Bae Kong, «Machine Learning Bias, Statistical
Bias, and Statistical Variance of Decision Tree Algorithms», Oregon State
University, 1995: citeseerx.ist.psu.edu/view doc/summary?doi=10.1.1.38.2
702.
D’Ignazio, Catherine, et Lauren F. Klein,
Data Feminism
, MIT Press, 2020.
Dilanian, Ken, «US Special Operations Forces Are Clamoring to Use Software
from Silicon Valley Company Palantir»,
Business Insider
, 26mars2015: ww
w.businessinsider.com/us-special-opera-tions-forces-are-clamoring-to-use-sof
tware-from-silicon-valley-company-palantir-2015-3.
Dizolele, Mvemba Phezo, «Congo’s Bloody Coltan»
,
Pulitzer Center on Crisis
Reporting, 6janvier2011: pulitzercenter.org/reporting/congos-bloody-colta
n.
Dobbe, Roel, et Meredith Whittaker, «AI and Climate Change: How They’re
Connected, and What We Can Do about It», AI Now Institute,
Medium
,
17octobre2019: medium.com/@AINowInstitute/ai-and-climate-change-h
ow-theyre-connected-and-what-we-can-do-about-it-6aa8d0f5b32c.
Domingos, Pedro, «A Few Useful Things to Know about Machine Learning»,
Communications of the ACM
, vol. 55, no10, 2012: homes.cs.washington.ed
u/∼pedrod/papers/cacm12.pdf.
Dooley, Ben, Eimi Yamamitsu, et Makiko Inoue, «Fukushima Nuclear
Disaster Trial Ends with Acquittals of3Executives»,
The New York Times
,
19septembre2019: www.nytimes.com/2019/09/19/business/japan-tepco-f
ukushima-nuclear-acquitted.html.
Dougherty, Conor, «Google Photos Mistakenly Labels Black People
“Gorillas”»,
Bits Blog
, 1er juillet2015: bits.blogs.nytimes.com/2015/07/01/
google-photos-mistakenly-labels-black-people-gorillas.
Douglass, Frederick, «West India Emancipation», discours prononcé à
Canandaigua, N.Y., le3août1857: rbscp.lib.rochester.edu/4398.
Drescher, Jack, «Out of DSM: Depathologizing Homosexuality»,
Behavioral
Sciences
, vol. 5, no4, 2015: doi.org/10.3390/bs5040565.
Dreyfus, Hubert L.,
Alchemy and Artificial Intelligence
, Rand Corporation,
1965.
—,
Intelligence artificielle. Mythes et limites
, trad. R.-M. Vassallo-Villaneau,
Flammarion, 1984.
Dryer, Theodora, «Designing Certainty: The Rise of Algorithmic Computing
in an Age of Anxiety1920–1970», thèse de doctorat, University of
California, San Diego, 2019.
Du, Lisa, et Ayaka Maki, «These Cameras Can Spot Shoplifters Even before
They Steal»,
Bloomberg
, 4mars2019: www.bloomberg.com/news/articles/2
019-03-04/the-ai-cameras-that-can-spot-shoplifters-even-before-they-steal.
Duchenne de Boulogne, G.-B.,
Mécanisme de la physionomie humaine ou
Analyse électro-physiologique de l’expression des passions applicable à la pratique
des arts plastiques
. Jules Renouard, 1862.
Eco, Umberto,
Vertige de la liste
, trad. M. Bouzaher, Flammarion, 2009.
Edwards, Paul N.,
The Closed World
:
Computers and the Politics of Discourse in
Cold War America
, MIT Press, 1996. Ouvrage partiellement traduit sous le
titre
Un monde clos. L’ordinateur, la bombe et le discours politique de la guerre
froide
, B2, 2013.
Edwards, Paul N., et Gabrielle Hecht, «History and the Technopolitics of
Identity: The Case of Apartheid South Africa»,
Journal of Southern African
Studies
, vol. 36, no3, 2010: doi.org/10.1080/03057070.2010.507568.
Eglash, Ron, «Broken Metaphor: The Master-Slave Analogy in Technical
Literature»,
Technology and Culture
, vol. 48, no2, 2007: doi.org/10.1353/t
ech.2007.0066.
Ekman, Paul, «An Argument for Basic Emotions»,
Cognition &Emotion
, vol.
6, nos3-4, 1992: doi.org/10.1080/02699939208411068.
—, «Duchenne and Facial Expression of Emotion», dans Duchenne de
Boulogne,
The Mechanism of Human Facial Expression
, trad. R. A.
Cuthbertson, Cambridge University Press, 1990: www.paulekman.com/wp-
content/uploads/2013/07/Duchenne-And-Facial-Expression-Of-Emotion.p
df.
—,
Emotions Revealed
:
Recognizing Faces and Feelings to Improve
Communication and Emotional Life
, Times Books, 2003.
—, «A Life’s Pursuit»,
The Semiotic Web ’86
:
An International Yearbook
,
Thomas A. Sebeok et Jean Umiker-Sebeok (dir.), Mouton de Gruyter,
1987: 1ammce38pkj41n8xkp1iocwe-wpengine.netdna-ssl.com/wp-conten
t/uploads/2013/07/A-Lifes-Persuit.pdf
—,
Nonverbal Messages
:
Cracking the Code
:
My Life’s Pursuit
, Paul Ekman
Group, 2016.
—, .
Je sais que vous mentez! L’art de détecter ceux qui vous trompent
, trad. P.
Loubet, Michel Lafon, 2010.
—, «Universal Facial Expressions of Emotion»,
California Mental Health
Research Digest
, vol. 8, no4, 1970: 1ammce38pkj41n8x-kp1iocwe-wpengin
e.netdna-ssl.com/wp-content/uploads/2013/07/Universal-Facial-Expressions
-of-Emotions1.pdf.
—, «What Scientists Who Study Emotion Agree About»,
Perspectives on
Psychological Science
, vol. 11, no1, 2016: www.paulekman.com/wp-conten
t/uploads/2013/07/What-Scientists-Who-Study-Emotion-Agree-About.pdf.
Ekman, Paul, et Wallace V. Friesen, «Constants across Cultures in the Face
and Emotion»,
Journal of Personality and Social Psychology
, vol. 17, no2,
1971: doi.org/10.1037/h0030377.
—,
Facial Action Coding System (FACS)
:
A Technique for the Measurement of
Facial Action
, Consulting Psychologists Press, 1978.
—, «Nonverbal Leakage and Clues to Deception»,
Psychiatry
, vol32, no1,
1969: doi.org/10.1080/00332747.1969.11023575.
—,
Unmasking the Face
, Malor Books, 2003.
Ekman, Paul, et Harriet Oster, «Facial Expressions of Emotion»,
Annual
Review of Psychology
, vol. 30, no1, 1979: doi.org/10.1146/annurev.ps.30.02
0179.002523.
Ekman, Paul, et Maureen O’Sullivan, «Who Can Catch a Liar?»,
American
Psychologist
vol. 46, no9, 1991: doi.org/10.1037/0003-066X.46.9.913.
Ekman, Paul, Maureen O’Sullivan, et Mark G. Frank, «A Few Can Catch a
Liar»,
Psychological Science
, vol. 10, no3, 1999: doi.org/10.1111/1467-928
0.00147.
Ekman, Paul, et Erika L. Rosenberg, (dir.),
What the Face Reveals
:
Basic and
Applied Studies of Spontaneous Expression Using the Facial Action Coding
System (FACS)
, Oxford University Press, 1997.
Ekman, Paul, E. Richard Sorenson, et Wallace V. Friesen, «Pan-Cultural
Elements in Facial Displays of Emotion»,
Science
, 4avril 1969: www.scienc
e.org/doi/10.1126/science.164.3875.86.
Ekman, Paul,
et al.
, «Universals and Cultural Differences in the Judgments of
Facial Expressions of Emotion»,
Journal of Personality and Social Psychology
,
vol. 53, no4, 1987: doi.org/10.1037/0022-3514.53.4.712.
Elfenbein, Hillary Anger, et Nalini Ambady, «On the Universality and
Cultural Specificity of Emotion Recognition: A Meta-Analysis»,
Psychological Bulletin
, vol. 128, no2, 2002: doi.org/10.1037/0033-2909.12
8.2.203.
Elish, Madeline Clare, et Danah Boyd, «Situating Methods in the Magic of
Big Data and AI»,
Communication Monographs
, vol. 85, no1, 2018: doi.or
g/10.1080/03637751.2017.1375130.
Ely, Chris, «The Life Expectancy of Electronics», Consumer Technology
Association, 16septembre2014: www.cta.tech/News/Blog/Articles/2014/Se
ptember/The-Life-Expectancy-of-Electronics.aspx.
England, Rachel, «UK Police’s Facial Recognition System Has an81 Percent
Error Rate»,
Engadget
, 4juillet2019: www.engadget.com/2019/07/04/uk-
met-facial-recognition-failure-rate.
Ensmenger, Nathan, «Computation, Materiality, and the Global
Environment»,
IEEE Annals of the History of Computing
, vol. 35, no3,
2013: doi.org/10.1109/MAHC.2013.33.
—,
The Computer Boys Take Over
:
Computers, Programmers, and the Politics of
Technical Expertise
, MIT Press, 2010.
Eschner, Kat, «Lie Detectors Don’t Work as Advertised and They Never Did»,
Smithsonian Magazine
, 2février2017: www.smithsonianmag.com/smartne
ws/lie-detectors-dont-work-advertised-and-they-never-did-180961956.
Estreicher, Sam, et Christopher Owens, «Labor Board Wrongly Rejects
Employee Access to Company Email for Organizational Purposes»,
Verdict
,
19février2020: verdict.justia.com/2020/02/19/labor-board-wrongly-rejects
-employee-access-to-company-email-for-organizational-purposes.
Eubanks, Virginia,
Automating Inequality
:
How High-Tech Tools Profile, Police,
and Punish the
Poor, St. Martin’s Press, 2017.
Ever AI, «Ever AILeads All USCompanies on NIST’s Prestigious Facial
Recognition Vendor Test»,
GlobeNewswire
, 27novembre2018: www.globe
newswire.com/news-release/2018/11/27/1657221/0/en/Ever-AI-Leads-All-
US-Companies-on-NIST-s-Prestigious-Facial-Recognition-Vendor-Test.htm
l.
Fabian, Ann,
The Skull Collectors
:
Race, Science, and America’s Unburied Dead
,
University of Chicago Press, 2010.
Fadell, Anthony M.,
et al
., «Smart-home automation system that suggests or
automatically implements selected household policies based on sensed
observations», US10114351B2, déposé le5 mars2015, et publié
le30octobre2018: patents.patsnap.com/v/US10114351-smart-home-auto
mation-system-that-suggests-or-autmatically-implements-selected-househol
d-policies-based-on-sensed-observations.html. Fang, Lee, «Defense Tech
Start-up Founded by Trump’s Most Prominent Silicon Valley Supporters
Wins Secretive Military AI Contract»,
The Intercept
, 9mars2019: theinter
cept.com/2019/03/09/anduril-industries-project-maven-palmer-luckey.
—, «Leaked Emails Show Google Expected Lucrative Military Drone AI
Work to Grow Exponentially»,
The Intercept
, 1er juin2018: theintercept.co
m/2018/05/31/google-leaked-emails-drone-ai-pentagon-lucrative.
«Federal Policy for the Protection of Human Subjects»,
Federal Register
,
9septembre2015: www.federalregister.gov/doc-uments/2015/09/08/2015-
21756/federal-policy-for-the-protection-of-human-subjects.
Federici, Silvia, «Salaire contre le travail ménager»,
Le Foyer de l’insurrection
,
Collectif L’Insoumise, 1977.
Fellbaum, Christiane (dir.),
WordNet
:
An Electronic Lexical Database
, MIT
Press, 1998.
Fernández-Dols, José-Miguel, et James A. Russell (dir.),
The Science of Facial
Expression
, Oxford University Press, 2017.
Feuer, William, «Palantir CEO Alex Karp Defends His Company’s
Relationship with Government Agencies»,
CNBC
, 23janvier 2020: www.c
nbc.com/2020/01/23/palantir-ceo-alex-karp-defends-his-companys-work-fo
r-the-government.html.
Foer, Franklin, «Jeff Bezos’s Master Plan»,
The Atlantic
, novembre 2019: ww
w.theatlantic.com/magazine/archive/2019/11/what-jeff-bezos-
wants/598363.
Foreman, Judy, «A Conversation with: Paul Ekman?; The43Facial Muscles
That Reveal Even the Most Fleeting Emotions»,
The New York Times
,
5août2003: www.nytimes.com/2003/08/05/health/conversation-with-paul
-ekman-43-facial-muscles-that-reveal-even-most-fleeting.html.
Forsythe, Diana E., «Engineering Knowledge: The Construction of
Knowledge in Artificial Intelligence»,
Social Studies of Science
, vol. 23, no3,
1993: doi.org/10.1177/0306312793023003002.
Fortunati, Leopoldina, «Robotization and the Domestic Sphere»,
New
Media&Society
, vol. 20, no8, 2018:
doi.org/10.1177/1461444817729366.
Foucault, Michel,
Surveiller et punir. Naissance de la prison
, Gallimard, 1975.
Founds, Andrew P.,
et al.
, «NIST Special Database32: Multiple Encounter
Dataset II (MEDS-II)», National Institute of Standards and Technology,
NISTIR7807, févier2011: tsapps.nist.gov/pub-lication/get_pdf.cfm?pub_
id=908383.
Fourcade, Marion, et Kieran Healy, «Seeing Like a Market»,
Socio-Economic
Review
, vol. 15, no1, 2016: doi.org/10.1093/ser/mww033.
Franceschi-Bicchierai, Lorenzo, «Redditor Cracks Anonymous Data Trove to
Pinpoint Muslim Cab Drivers»,
Mashable
, 28janvier 2015: mashable.com/
2015/01/28/redditor-muslim-cab-drivers.
Franklin, Ursula M.,
The Real World of Technology
, House of Anansi Press,
2004.
Franklin, Ursula M., et Michelle Swenarchuk,
The Ursula Franklin Reader
:
Pacifism as a Map
, Between the Lines, 2006.
French, Martin A., et Simone A. Browne, «Surveillance as Social Regulation:
Profiles and Profiling Technology»,
Criminalization, Representation,
Regulation
:
Thinking Differently about Crime
, Deborah R. Brock, Amanda
Glasbeek et Carmela Murdocca (dir.), University of Toronto Press, 2014.
Fridlund, Alan, «ABehavioral Ecology View of Facial Displays, 25Years
Later»,
Emotion Researcher
, août2015: emotionresearcher.com/the-behavio
ral-ecology-view-of-facial-displays-25-years-later.
Fussell, Sidney, «The Next Data Mine Is Your Bedroom»,
The Atlantic
,
17novembre2018: www.theatlantic.com/technology/archive/2018/11/goo
gle-patent-bedroom-privacy-smart-home/576022.
Galison, Peter,
L’Empire du temps. Les horloges d’Einstein et les cartes de Poincaré
,
trad. B. Arman, Gallimard, 2006.
—, «The Ontology of the Enemy: Norbert Wiener and the Cybernetic
Vision»,
Critical Inquiry
, vol. 21, no1, 1994: doi.org/10.1086/448747.
—, «Removing Knowledge»,
Critical Inquiry
, vol. 31, no1, 2004: doi.org/1
0.1086/427309.
Garris, Michael D., et Charles L. Wilson, «NIST Biometrics Evaluations and
Developments», National Institute of Standards and Technology,
NISTIR7204, février2005: www.govinfo.gov/content/pkg/GOVPUB-C1
3-1ba4778e3b87bdd6ce660349317d3263/pdf/GOVPUB-C13-1ba4778e3
b87bdd6ce660349317d3263.pdf.
Gates, Dominic, «Bezos’s Blue Origin Seeks Tax Incentives to Build Rocket
Engines Here»,
The Seattle Times
, 14janvier2016: www.seattletimes.com/
business/boeing-aerospace/bezoss-blue-origin-seeks-tax-incentives-to-build-r
ocket-engines-here.
Gebru, Timnit,
et al.
, «Datasheets for Datasets», 23mars2018: arxiv.org/ab
s/1803.09010.
—, «Fine-Grained Car Detection for Visual Census Estimation», 7
septembre2017: arxiv.org/abs/1709.02480.
Gee, Alastair, «San Francisco or Mumbai? UN Envoy Encounters Homeless
Life in California»,
The Guardian
, 22janvier2018: www.theguardian.com/
us-news/2018/jan/22/un-rapporteur-homeless-san-francisco-california.
Gellman, Barton, et Laura Poitras, «U.S., British Intelligence Mining Data
from Nine U.S. Internet Companies in Broad Secret Program»,
The
Washington Post
, 7juin2013: www.washingtonpost.com/investigations/us-i
ntelligence-mining-data-from-nine-us-internet-companies-in-broad-secret-p
ro-gram/2013/06/06/3a0c0da8-cebf-11e2-8845-
d970ccb04497_story.html.
Gendron, Maria, et Lisa Feldman Barrett, «Facing the Past»,
The Science of
Facial Expression
, Fernández-Dols, José-Miguel et James A. Russell (dir.),
Oxford University Press, 2017.
George, Rose,
Ninety Percent of Everything
:
Inside Shipping, the Invisible
Industry That Puts Clothes on Your Back, Gas in Your Car, and Food on Your
Plate
, Metropolitan Books, 2013.
Gershgorn, Dave, «The Data That Transformed AI Research–and Possibly
the World»,
Quartz
, 26juillet2017: qz.com/1034972/the-data-that-chang
ed-the-direction-of-ai-research-and-possibly-the-world.
Ghaffary, Shirin, «More Than1,000Google Employees Signed a Letter
Demanding the Company Reduce Its Carbon Emissions»,
Recode
,
4novembre2019: www.vox.com/recode/2019/11/4/20948200/google-emp
loyees-letter-demand-climate-change-fossil-fuels-carbon-emissions.
Gill, Karamjit S.,
Artificial Intelligence for Society
, John Wiley&Sons, 1986.
Gillespie, Tarleton,
Custodians of the Internet
:
Platforms, Content Moderation,
and the Hidden Decisions That Shape Social Media
, Yale University Press,
2018.
Gillespie, Tarleton, Pablo J. Boczkowski et Kirsten A. Foot (dir.),
Media
Technologies
:
Essays on Communication, Materiality, and Society
, MIT Press,
2014.
Gitelman, Lisa, (dir.), «
Raw Data
»
Is an Oxymoron
, MIT Press, 2013.
Goeleven, Ellen,
et al.
, «The Karolinska Directed Emotional Faces: A
Validation Study»,
Cognition&Emotion
, vol. 22, no6, 2008: doi
.org/10.1080/02699930701626582.
Goenka, Aakash,
et al
., Database systems and user interfaces for dynamic and
interactive mobile image analysis and identification, US10339416B2,
déposé le5juillet2018, et publié le2juillet2019.
«Google Outrage at “NSA Hacking”»,
BBC News
, 31octobre2013: www.bb
c.com/news/world-us-canada-24751821.
Gora, Walter, Ulrich Herzog et Satish Tripathi, «Clock Synchronization on
the Factory Floor (FMS)»,
IEEE Transactions on Industrial Electronics
, vol.
35, no3, 1988: doi.org/10.1109/41.3109.
Gould, Stephen Jay,
La Mal-Mesure de l’homme
, trad. J. Chabert et M. Blanc,
Odile Jacob, 2009.
Graeber, David.
Bureaucratie
, trad. F. et P. Chemla, Les Liens qui libèrent,
2015.
Graham, John, «Lavater’s Physiognomy in England»,
Journal of the History of
Ideas
, vol. 22, no4, 1961: doi.org/10.2307/2708032.
Graham, Mark, et Håvard Haarstad, «Transparency and Development:
Ethical Consumption through Web2.0and the Internet of Things»,
Information Technologies&International Development
, vol. 7, no1, 2011: iti
djournal.org/index.php/itid/article/view/693.html.
Gray, Mary L., et Siddharth Suri,
Ghost Work
:
How to Stop Silicon Valley from
Building a New Global Underclass
, Houghton Mifflin Harcourt, 2019.
—, «The Humans Working behind the AI Curtain»,
Harvard Business
Review
, 9janvier2017: hbr.org/2017/01/the-humans-working-behind-the-
ai-curtain.
Gray, Richard T.,
About Face
:
German Physiognomic Thought from Lavater to
Auschwitz
, Wayne State University Press, 2004.
Green, Ben,
The Smart Enough City
:
Putting Technology in Its Place to Reclaim
Our Urban Future
, MIT Press, 2020.
Greenberger, Martin, (dir.),
Management and the Computer of the Future
,
Wiley, 1962.
Greene, Tristan, «Science May Have Cured Biased AI»,
The Next Web
,
26octobre2017: thenextweb.com/artificial-intelligence/2017/10/26/scienti
sts-may-have-just-created-the-cure-for-biased-ai.
Greenhouse, Steven, «McDonald’s Workers File Wage Suits in 3States»,
The
New York Times
, 13mars2014: www.nytimes.com/2014/03/14/business/m
cdonalds-workers-in-three-states-file-suits-claiming-under payment.html.
Greenpeace, «Powering the Cloud: How China’s Internet Industry Can Shift
to Renewable Energy», 9septembre2019: storage.googleapis.com/planet4-
eastasia-stateless/2019/11/7bfe90697bfe9069-powering-the-cloud-_-english
-briefing.pdf.
Greenwald, Anthony G., et Linda Hamilton Krieger, «Implicit Bias: Scientific
Foundations»,
California Law Review
, vol. 94, no4, 2006: doi.org/10.230
7/20439056.
Gregg, Melissa,
Counterproductive
:
Time Management in the Knowledge
Economy
, Duke University Press, 2018.
Grigorieff, Paul, «The Mittelwerk/Mittelbau/Camp Dora»: www.v2rocket.co
m/start/chapters/mittel.html.
Grother, Patrick,
et al.
, «The2017IARPA Face Recognition Prize Challenge
(FRPC)», National Institute of Standards and Technology, NISTIR8197,
novembre2017: nvlpubs.nist.gov/nistpubs/ir/2017/NIST. IR.8197.pdf.
Grothoff, Christian, et J. M. Porup, «The NSA’s SKYNET Program May Be
Killing Thousands of Innocent People»,
Ars Technica
, 16février 2016: arste
chnica.com/information-technology/2016/02/thensas-skynet-program-may-
be-killing-thousands-of-innocent-people.
Guendelsberger, Emily,
On the Clock
:
What Low-Wage Work Did to Me and
How It Drives America Insane
, Little, Brown&Company, 2019.
Gurley, Lauren Kaori, «60Amazon Workers Walked Out over Warehouse
Working Conditions»,
Vice
, 3octobre2019: www.vice.com/en_us/article/p
a7qny/60-amazon-workers-walked-out-over-warehouse-working-conditions.
Hacking, Ian, «Kinds of People: Moving Targets»,
Proceedings of the British
Academy
vol. 151, 2007: www.thebritishacademy.ac.uk/documents/2043/p
ba151p285.pdf.
—, «Making Up People»,
London Review of Books
, 17août2006: www.lrb.c
o.uk/the-paper/v28/n16/ian-hacking/making-up-people.
Hagendorff, Thilo, «The Ethics of AI Ethics: An Evaluation of Guidelines»,
Minds and Machines
, vol. 30, no1, 2020: doi.org/10.1007/s11023-020-095
17-8.
Haggerty, Kevin D., et Richard V. Ericson, «The Surveillant Assemblage»,
British Journal of Sociology
, vol. 51, no4, 2000: doi.org/10.1080/00071310
020015280.
Hajjar, Lisa, «Lawfare and Armed Conflicts: A Comparative Analysis of Israeli
and U.S. Targeted Killing Policies»,
Life in the Age of Drone Warfare
, Lisa
Parks et Caren Kaplan (dir.), Duke University Press, 2017.
Halsey III, Ashley, «House Member Questions $900Million TSA “SPOT”
Screening Program»,
The Washington Post
, 14novembre 2013: www.washi
ngtonpost.com/local/trafficandcommuting/house-member-questions-900-m
illion-tsa-spot-screening-program/2013/11/14/ad194cfe-4d5c-11e3-be6b-d
3d28122e6d4_story.html.
Hao, Karen, «AI Is Sending People to Jail–and Getting It Wrong»,
MIT
Technology Review
, 21janvier2019: www.technologyreview.com/s/612775/
algorithms-criminal-justice-ai.
—, «The Technology behind OpenAI’s Fiction-Writing, Fake-NewsSpewing
AI, Explained»,
MIT Technology Review
, 16 février2019: www.technologyr
eview.com/s/612975/ai-natural-language-processing-explained.
—, «Three Charts Show How China’s AI Industry Is Propped Up by Three
Companies»,
MIT Technology Review
, 22janvier2019: www.technologyrev
iew.com/s/612813/the-future-of-chinas-ai-industry-is-in-the-hands-of-just-t
hree-companies.
Haraway, Donna J.,
Modest_Witness@Second_Millennium. FemaleMan_
Meets_OncoMouse
:
Feminism and Technoscience
, Routledge, 1997.
—,
Des singes, des cyborgs et des femmes. La R
éinvention de la nature, trad. O
Bonis, Jacqueline Chambon, 2009.
—,
Quand les espèces se rencontrent
, trad. F. Courtois-L’Heureux, Les
Empêcheurs de penser en rond, 2021.
Hardt, Michael, et Antonio Negri,
Assembly
, Oxford University Press, 2017.
Harrabin, Roger, «Google Says Its Carbon Footprint Is Now Zero»,
BBC
News
, 14septembre2020: www.bbc.com/news/technology-54141899.
Harvey, Adam, «MegaPixels»: ahprojects.com/megapixels?; exposing.ai/abou
t.
Harvey, Adam., et Jules LaPlace, «Brainwash Dataset»:
exposing.ai/brainwash.
Harwell, Drew, «A Face-Scanning Algorithm Increasingly Decides Whether
You Deserve the Job»,
The Washington Post
, 7novembre2019: www.washi
ngtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-i
ncreasingly-decides-whether-you-deserve-job.
Haskins, Caroline, «Amazon Is Coaching Cops on How to Obtain
Surveillance Footage without a Warrant»,
Vice
, 5août2019: www.vice.co
m/en/article/43kga3/amazon-is-coaching-cops-on-how-to-obtain-surveillanc
e-footage-without-a-warrant.
—, «Amazon’s Home Security Company Is Turning Everyone into Cops»,
Vice
, 7février2019: www.vice.com/en/article/qvyvzd/amazons-home-securi
ty-company-is-turning-everyone-into-cops.
—, «Amazon Requires Police to Shill Surveillance Cameras in Secret
Agreement»,
Vice
, 25juillet2019: www.vice.com/en/article/mb88za/amazo
n-requires-police-to-shill-surveillance-cameras-in-secret-agreement.
—, «How Ring Transmits Fear to American Suburbs»,
Vice
,
6décembre2019: www.vice.com/en/article/ywaa57/how-ring-transmits-fea
r-to-american-suburbs.
Heaven, Douglas, «Why Faces Don’t Always Tell the Truth about Feelings»,
Nature
, 26février2020: www.nature.com/articles/d41586-020-00507-5.
Heller, Nathan, «What the Enron Emails Say about Us»,
The New Yorker
,
17juillet2017: www.newyorker.com/magazine/2017/07/24/what-the-enro
n-e-mails-say-about-us.
Hernandez, Elizabeth, «CU Colorado Springs Students Secretly Photographed
for Government-Backed Facial-Recognition Research»,
The Denver Post
,
27mai2019: www.denverpost.com/2019/05/27/cu-colorado-springs-facial
-recognition-research.
Heyn, Edward T., «Berlin’s Wonderful Horse?; He Can Do Almost
Everything but Talk–How He Was Taught»,
The New York Times
,
4septembre1904: timesmachine.nytimes.com/timesmachine/1904/09/04/
101396572.pdf.
Hicks, Mar,
Programmed Inequality
:
How Britain Discarded Women
Technologists and Lost Its Edge in Computing
, MIT Press, 2017.
Hird, Myra J., «Waste, Landfills, and an Environmental Ethics of
Vulnerability»,
Ethics&the
Environment, vol. 18, no1, 2013:
doi.org/10.2979/ethicsenviro.18.1.105.
Hodal, Kate, «Death Metal: Tin Mining in Indonesia»,
The Guardian
,
23novembre2012: www.theguardian.com/environment/2012/nov/23/tin-
mining-indonesia-bangka.
Hoffmann, Anna Lauren, «Data Violence and How Bad Engineering Choices
Can Damage Society»,
Medium
, 30avril2018: medium.com/s/story/data-
violence-and-how-bad-engineering-choices-can-damage-society-
39e44150e1d4.
Hoffower, Hillary, «We Did the Math to Calculate How Much Money Jeff
Bezos Makes in a Year, Month, Week, Day, Hour, Minute, and Second»,
Business Insider
, 9janvier2019: www.businessinsider.com/what-amazon-
ceo-jeff-bezos-makes-everyday-hour-minute-2018-10.
Hoft, Joe, «Facial, Speech and Virtual Polygraph Analysis Shows Ilhan Omar
Exhibits Many Indications of a Compulsive Fibber!!!»,
The Gateway
Pundit
, 21juillet2019: www.thegatewaypundit.com/2019/07/facial-
speech-and-virtual-polygraph-analysisshows-ilhan-omar-exhibits-many-
indications-of-a-compulsivefibber.
Hogan, Mél, «Data Flows and Water Woes: The Utah Data Center»,
Big
Data&Society
, vol. 2, no2, 2015: doi.org/10.1177/2053951715592429.
Holmqvist, Caroline,
Policing Wars
:
On Military Intervention in the Twenty-
First Century
, Palgrave Macmillan, 2014.
Horne, Emily, et Tim Maly,
The Inspection House
:
An Impertinent Field Guide
to Modern Surveillance
, Coach House Books, 2014.
Horowitz, Alexandra, «Why Brain Size Doesn’t Correlate with Intelligence»,
Smithsonian Magazine
, décembre2013: www.smithsonianmag.com/science-
nature/why-brain-size-doesnt-correlate-with-intelligence-180947627.
House, Brian, «Synchronizing Uncertainty: Google’s Spanner and
Cartographic Time»,
Executing Practices
, Helen Pritchard, Eric Snodgrass et
Magda Tyżlik-Carver (dir.), Open Humanities Press, 2018.
Hu, Tung-Hui,
A Prehistory of the Cloud
, MIT Press, 2015.
Huet, Ellen, «The Humans Hiding behind the Chatbots»,
Bloomberg
,
18avril2016: www.bloomberg.com/news/articles/2016-04-18/the-humans
-hiding-behind-the-chatbots.
Hutson, Matthew, «Artificial Intelligence Could Identify Gang Crimes–and
Ignite an Ethical Firestorm»,
Science
, 28février2018: www.science.org/ne
ws/2018/02/artificial-intelligence-could-identify-gang-crimes-and-ignite-eth
ical-firestorm.
Hwang, Tim, et Karen Levy, «“The Cloud” and Other Dangerous
Metaphors»,
The Atlantic
, 20janvier2015: www.theatlantic.com/technolo
gy/archive/2015/01/the-cloud-and-other-dangerous-metaphors/384518.
ImageNet, «ImageNet Large Scale Visual Recognition Competition
(ILSVRC)»: image-net.org/challenges/LSVRC.
Information Commissioner’s Office (ico.), «Royal Free–Google DeepMind
Trial Failed to Comply with Data Protection Law», 3juillet2017: ico.org.u
k/about-the-ico/news-and-events/news-and-blogs/2017/07/royal-free-google
-deepmind-trial-failed-to-comply-with-data-protection-law.
Intel, «Transforming Intel’s Supply Chain with Real-Time Analytics»,
septembre2017: www.intel.com/content/dam/www/public/us/en/documen
ts/white-papers/transforming-supply-chain-with-real-time-analy tics-whitep
aper.pdf.
—, «Intel’s Efforts to Achieve a Responsible Minerals Supply Chain»,
mai2019: www.intel.com/content/www/us/en/corporate-responsibility/con
flict-minerals-white-paper.html.
Irani, Lilly, «Difference and Dependence among Digital Workers: The Case
of Amazon Mechanical Turk»,
South Atlantic Quarterly
, vol. 114, no1,
2015: doi.org/10.1215/00382876-2831665.
—, «The Hidden Faces ofAutomation»,
XRDS
: Crossroads,
The ACM
Magazine for Students
, vol. 23, no2, 2016: doi.org/10.1145/3014390.
Izard, Carroll E., «The Many Meanings/Aspects of Emotion: Definitions,
Functions, Activation, and Regulation»,
Emotion Review
, vol. 2, no4,
2010: doi.org/10.1177/1754073910374661.
Jaton, Florian, «We Get the Algorithms of Our Ground Truths: Designing
Referential Databases in Digital Image Processing»,
Social Studies of Science
,
vol. 47, no6, 2017: doi.org/10.1177/0306312717730428.
Jin, Huafeng, et Shuo Wang, Voice-based determination of physical and
emotional characteristics of users, US10096319B1, n.d.
Jobin, Anna, Marcello Ienca et Effy Vayena, «The Global Landscape of AI
Ethics Guidelines»,
Nature Machine Intelligence
, septembre 2019: ecocritiq
ue.free.fr/jobin2019.pdf.
Jones, Nicola, «How to Stop Data Centres from Gobbling Up the World’s
Electricity»,
Nature
, 12septembre2018: www.nature.com/articles/d41586-
018-06610-y.
Joseph, George, «Data Company Directly Powers Immigration Raids in
Workplace»,
WNYC
, 16juillet2019: www.wnyc.org/story/palantir-directly
-powers-ice-workplace-raids-emails-show.
June, Laura, «YouTube Has a Fake Peppa Pig Problem»,
The Outline
,
16mars2017: theoutline.com/post/1239/youtube-has-a-fake-peppa-pig-pr
oblem.
Kafer, Alison,
Feminist, Queer, Crip
, Indiana University Press, 2013.
Kak, Amba (dir.), «Regulating Biometrics: Global Approaches and Urgent
Questions», AI Now Institute, 1er septembre2020: ainowinstitute.org/regu
latingbiometrics.html.
Kanade, Takeo,
Computer Recognition of Human Faces
, Birkhäuser, 1977.
Kanade, T., J. F. Cohn et Yingli Tian, «Comprehensive Database for Facial
Expression Analysis»,
Proceedings Fourth IEEE International Conference on
Automatic Face and Gesture Recognition
, 2000: doi.org/10.1109/AFGR.200
0.840611.
Kappas, A., «Smile When You Read This, Whether You Like It or Not:
Conceptual Challenges to Affect Detection»,
IEEE Transactions on Affective
Computing
, vol1, no1, 2010: doi.org/10.1109/T-AFFC.2010.6.
Katz, Lawrence F., et Alan B. Krueger, «The Rise and Nature of Alternative
Work Arrangements in the United States, 1995-2015»,
ILR Review
, vol. 72,
no2, 2019: doi/full/10.1177/ 0019793918820008.
Keates, Nancy, «The Many Places Amazon CEO Jeff Bezos Calls Home»,
The
Wall Street Journal
, 9janvier2019: www.wsj.com/articles/the-many-places-a
mazon-ceo-jeff-bezos-calls-home-1507204462.
Keel, Terence D., «Religion, Polygenism and the Early Science of
HumanOrigins»,
History of the HumanSciences
, vol. 26,no2, 2013: doi.org/
10.1177/0952695113482916.
Kelly, Kevin,
What Technology Wants
, Penguin Books, 2011.
Kemeny, John, et Thomas Kurtz, «Dartmouth Timesharing»,
Science
, vol.
162, 1968.
Kendi, Ibram X., «A History of Race and Racism in America, in24
Chapters»,
The New York Times
, 22février2017: www.nytimes.com/2017/
02/22/books/review/a-history-of-race-and-racism-in-america-in-24-chapter
s.html.
Kerr, Dara, «Tech Workers Protest in SF to Keep Attention on Travel Ban»,
CNET
, 13février2017: www.cnet.com/news/trump-immigration-ban-tech
-workers-protest-no-ban-no-wall.
Keyes, Os, «The Misgendering Machines: Trans/HCI Implications of
Automatic Gender Recognition»,
Proceedings of the ACM on
HumanComputer Interaction
2, vol. 2, no CSCW, 2018: doi.org/10.1145/3
274357.
Kleinberg, Jon,
et al.
, «Human Decisions and Machine Predictions»,
The
Quarterly Journal of Economics
, vol. 133, no1, 2018: doi.org/10.1093/qje/qj
x032.
Klimt, Bryan, et Yiming Yang, «The Enron Corpus: A New Dataset for Email
Classification Research»,
Machine Learning
:
ECML 2004
, Jean-François
Boulicaut
et al
. (dir.), Springer, 2004.
Klose, Alexander,
The Container Principle
:
How a Box Changes the Way We
Think
, trad. C. Marcrumll, MIT Press, 2015.
Knight, Will, «Alpha Zero’s “Alien” Chess Shows the Power, and the
Peculiarity, of AI»,
MIT Technology Review
, 8décembre2017: www.techno
logyreview.com/s/609736/alpha-zeros-alien-chess-shows-the-power-and-the-
peculiarity-of-ai.
Kolbert, Elizabeth, «There’s No Scientific Basis for Race–It’s a MadeUp
Label»,
National Geographic
, 12mars2018: www.nationalgeographic.com/
magazine/2018/04/race-genetics-science-africa.
Krizhevsky, Alex, Ilya Sutskever et Geoffrey E. Hinton, «ImageNet
Classification with Deep Convolutional Neural Networks»,
Communications of the ACM
, vol. 60, no6, 2017: doi.org/10.1145/306538
6.
Labban, Mazen, «Deterritorializing Extraction: Bioaccumulation and the
Planetary Mine»,
Annals of the Association of American Geographers
, vol. 104,
no3, 2014: www.jstor.org/stable/24537757.
Lakoff, George,
Women, Fire, and Dangerous Things
:
What Categories Reveal
about the Mind
, University of Chicago Press, 1987.
Lambert, Fred, «Breakdown of Raw Materials in Tesla’s Batteries and Possible
Bottlenecks»,
Electrek
, 1er novembre2016: electrek.co/2016/11/01/breakd
own-raw-materials-tesla-batteries-possible-bottleneck.
Lapuschkin, Sebastian,
et al.
, «Unmasking Clever Hans Predictors and
Assessing What Machines Really Learn»,
Nature Communications
, vol. 10,
no1, 2019: doi.org/10.1038/s41467-019-08987-4.
Latour, Bruno, «Tarde’s Idea of Quantification»,
The Social after Gabriel
Tarde
:
Debates and Assessments
, Matei Candea (dir.), Routledge, 2010.
Lem, Stanisław,
Les Sept Croisades de Trurl et Clapaucius
, dans
La Cybériade
,
trad. D. Sila, Gallimard, 2004.
Leys, Ruth,
The Ascent of Affect
:
Genealogy and Critique
, University of Chicago
Press, 2017.
Li, Xiaochang, «Divination Engines: A Media History of Text Prediction»,
thèse de doctorat, New York University, 2017.
Libby, Sara, «Scathing Audit Bolsters Critics’ Fears about Secretive State Gang
Database»,
Voice of San Diego
, 11août2016: www.voiceofsandiego.org/top
ics/public-safety/scathing-audit-bolsters-critics-fears-secretive-state-gang-dat
abase.
Light, Jennifer S., «When Computers Were Women»,
Technology and Culture
,
vol. 40, no3, 1999: www.jstor.org/stable/25147356.
Lingel, Jessa, et Kate Crawford, «Alexa, Tell Me about Your Mother: The
History of the Secretary and the End of Secrecy»,
Catalyst
:
Feminism,
Theory, Technoscience
, vol. 6, no1, 2020: catalystjour-nal.org/index.php/cata
lyst/article/view/29949.
Liu, Zhiyi, «Chinese Mining Dump Could Hold Trillion-Dollar Rare Earth
Deposit»,
China Dialogue
, 14décembre2012: www.chinadialogue.net/arti
cle/show/single/en/5495-Chinese-mining-dump-could-hold-trillion-dollar-r
are-earth-deposit.
Lloyd, G. E. R, «The Development of Aristotle’s Theory of the Classification
ofAnimals»,
Phronesis
, vol. 6, nos1-2, 1961: doi.org/10.1163/156852861X
00080.
Lo, Chris, «The False Monopoly: China and the Rare Earths Trade»,
Mining
Technology
, 19août2015: www.mining-technology.com/features/featurethe
-false-monopoly-china-and-the-rare-earths-trade-4646712.
Locker, Melissa, «Microsoft, Duke, and Stanford Quietly Delete Databases
with Millions of Faces»,
Fast Company
, 6juin2019: www.fastcompany.co
m/90360490/ms-celeb-microsoft-deletes-10m-faces-from-face-database.
Lorde, Audre,
The Master’s Tools Will Never Dismantle the Master’s House
,
Penguin Classics, 2018.
Lucey, Patrick,
et al.
, «The Extended Cohn-Kanade Dataset (CK+): A
Complete Dataset for Action Unit and Emotion-Specified Expression»,
2010IEEEComputer Society Conference on Computer Vision and Pattern
Recognition
–
Workshops
: doi.org/10.1109/CVPRW.2010.5543262.
Luxemburg, Rosa, «Économie politique pratique. Le livre II du
Capital
de
Marx», Œuvres complètes II: À l›école du socialisme, trad. L. Roignant,
Agone-Collectif Smolny, 2012.
Lyons, M.,
et al.
, «Coding Facial Expressions with Gabor Wavelets»,
Proceedings Third IEEE International Conference on Automatic Face and
Gesture Recognition
, 1998: doi.org/10.1109/AFGR.1998.670949.
Lyotard, Jean François, «Représentation, présentation, imprésentable»,
L’Inhumain, causeries sur le temps
, Galilée, 1988.
Maass, Peter, «Summit Fever»,
The Intercept
, 25juin2012: www.documentcl
oud.org/documents/2088979-summit-fever.html.
Maass, Peter, et Beryl Lipton, «What We Learned»,
MuckRock
, 15
novembre2018: www.muckrock.com/news/archives/2018/nov/15/alpr-wha
t-we-learned.
MacKenzie, Donald A.,
Inventing Accuracy
:
A Historical Sociology of Nuclear
Missile Guidance
, MIT Press, 2001.
«Magic from Invention», Brunel University London: www.brunel.ac.uk/resea
rch/Brunel-Innovations/Magic-from-invention.
Mahdawi, Arwa, «The Domino’s “Pizza Checker” Is Just the Beginning–
Workplace Surveillance Is Coming for You»,
The Guardian
,
15octobre2019: www.theguardian.com/commentis-free/2019/oct/15/the-
dominos-pizza-checker-is-just-the-beginning-workplace-surveillance-is-comi
ng-for-you.
MarketWatch, «Emotion Detection and Recognition (EDR) Market Size to
surpass18% + CAGR2020to2027», 5octobre2020: www.marketwatch.
com/press-release/emotion-detection-and-recognition-edr-market-size-to-sur
pass-18-cagr-2020-to-2027-2020-10-05.
Marcus, Mitchell P., Mary Ann Marcinkiewicz et Beatrice Santorini, «Building
a LargeAnnotated Corpus ofEnglish: The PennTreebank»,
Computational
Linguistics
, vol. 19, no2, 1993: dl.acm.org/doi/abs/10.5555/972470.97247
5.
Markoff, John, «Pentagon Turns to Silicon Valley for Edge in Artificial
Intelligence»,
The New York Times
, 11mai2016: www.nytimes.com/2016/
05/12/technology/artificial-intelligence-as-the-pentagons-latest-weapon.htm
l.
—, «Seeking a Better Way to Find Web Images»,
The New York Times
,
19novembre2012: www.nytimes.com/2012/11/20/science/for-web-images
-creating-new-technology-to-seek-and-find.html.
—, «Skilled Work, without the Worker»,
The New York Times
, 18août
2012: www.nytimes.com/2012/08/19/business/new-wave-of-adept-robots-i
s-changing-global-industry.html.
Martinage, Robert, «Toward a New Offset Strategy: Exploiting U.S.
LongTerm Advantages to Restore U.S. Global Power Projection
Capability», Center for Strategic and Budgetary Assessments, 2014: csbaon
line.org/uploads/documents/Offset-Strategy-Web.pdf.
Marx, Karl,
Le Capital
, «Livre Premier», trad. sous la dir. de J.-P. Lefebvre,
PUF, coll. Quadrige, 1993.
—,
Misère de la philosophie
, Petite Bibliothèque Payot, 2005.
Marx, Karl, et Friedrich Engels,
Manifeste du parti communiste
, Œuvres I, trad.
É. Bottigelli, GF Flammarion, 1998.
Marx, Paris, «Instead of Throwing Money at the Moon, Jeff Bezos Should Try
Helping Earth»,
NBC News Think
, 15mai2019: www.nbcnews.com/thin
k/opinion/jeff-bezos-blue-origin-space-colony-dreams-ignore-plight-millions
-ncna1006026.
Masanet, Eric, Arman Shehabi, Nuoa Lei, Sarah Smith et Jonathan Koomey,
«Recalibrating Global Data Center Energy-Use Estimates»,
Science
,
28février2020: www.science.org/doi/abs/10.1126/science.aba3758
Matney, Lucas, «More than100Million Alexa Devices Have Been Sold»,
TechCrunch
, 4janvier2019: social.techcrunch.com/2019/01/04/more-than
-100-million-alexa-devices-have-been-sold.
Mattern, Shannon, «Calculative Composition: The Ethics of Automating
Design»,
The Oxford Handbook of Ethics of AI
, Markus D. Dubber, Frank
Pasquale et Sunit Das (dir.), Oxford University Press, 2020.
—,
Code and Clay, Data and Dirt
:
Five Thousand Years of Urban Media
,
University of Minnesota Press, 2017.
Maughan, Tim, «The Dystopian Lake Filled by the World’s Tech Lust»,
BBC
Future
, 2avril2015: www.bbc.com/future/article/20150402-the-worst-plac
e-on-earth.
Mayhew, Claire, et Michael Quinlan, «Fordism in the Fast Food Industry:
Pervasive Management Control and Occupational Health and Safety Risks
for Young Temporary Workers»,
Sociology of Health&Illness
, vol. 24, no3,
2002: doi.org/10.1111/1467-9566.00294.
Mayr, Ernst,
Histoire de la biologie. Diversité, évolution et hérédité
, trad. M.
Blanc, Fayard, 1989.
Mbembe, Achille,
Critique de la raison nègre
, La Découverte, 2013.
—,
Necropolitics
, Duke University Presse, 2019
—, «Nécropolitiques», trad. É. Cousin, S. Lefranc et E. Varikas,
Raisons
politiques
, vol. 21, no1, 2006: www.cairn.info/revue-raisons-politiques-200
6-1-page-29.htm.
McCorduck, Pamela,
Machines Who Think
:
APersonal Inquiry into the History
and Prospects of Artificial Intelligence
, A. K. Peters, 2004.
McCurry, Justin, «Fukushima Disaster: Japanese Power Company Chiefs
Cleared of Negligence»,
The Guardian
, 19septembre2019: www.theguardi
an.com/environment/2019/sep/19/fukushima-disaster-japanese-power-com
pany-chiefs-cleared-of-negligence.
—, «Fukushima Nuclear Disaster: Former Tepco Executives Go on Trial»,
The Guardian
, 30juin2017: www.theguardian.com/environment/2017/ju
n/30/fukushima-nuclear-crisis-tepco-criminal-trial-japan.
McDuff, Daniel,
et al.
, «Affectiva-MIT Facial Expression Dataset (AM-FED):
Naturalistic and Spontaneous Facial Expressions Collected “In-theWild”»,
2013IEEE Conference on Computer Vision and Pattern Recognition
Workshops
: doi.org/10.1109/CVPRW.2013.130.
McIlwain, Charlton,
Black Software
:
The Internet and Racial Justice, from the
AfroNet to Black Lives Matter
, Oxford University Press, 2019.
McLuhan, Marshall,
Pour comprendre les médias
, trad. J. Paré, Points essais,
2015.
McMillan, Graeme, «It’s Not You, It’s It: Voice Recognition Doesn’t
Recognize Women»,
Time
, 1er juin2011: techland.time.com/2011/06/01/i
ts-not-you-its-it-voice-recognition-doesnt-recognize-women.
McNamara, Robert S., et James G. Blight,
Wilson’s Ghost
:
Reducing the Risk of
Conflict, Killing, and Catastrophe in the21st Century
, PublicAffairs, 2001.
McNeil, Joanne, «Two Eyes See More Than Nine»,
Jon Rafman
:
Nine Eyes
,
Kate Steinmann (dir.), New Documents, 2016.
Mead, Margaret, «Review of
Darwin and Facial Expression
:
A Century of
Research in Review
edited by Paul Ekman»,
Journal of Communication
, vol.
25, no1, 1975.
Meadows, Donella H.,
et al
., «Rapport sur les limites de la croissance»,
Halte
à la croissance
?
Enquête sur le Club de Rome,
trad. J. Delaunay, Fayard, 1972.
Menabrea, Luigi Federico, «Notions sur la machine analytique de M. Charles
Babbage», Bibliothèque universelle de Genève, t. 41, 1842: www.bibnum.e
ducation.fr/calcul-informatique/calcul/notions-sur-la-machine-analytique-d
e-m-charles-babbage.
Merler, Michele,
et al.,
«Diversity in Faces», 8avril2019: arxiv.org/abs/1901.
10436.
Metcalf, Jacob, et Kate Crawford, «Where Are Human Subjects in Big Data
Research? The Emerging Ethics Divide»,
Big Data&Society
, vol. 3, no1,
2016: doi.org/10.1177/2053951716650211.
Metcalf, Jacob, Emanuel Moss et Danah Boyd, «Owning Ethics: Corporate
Logics, Silicon Valley, and the Institutionalization of Ethics»,
International
Quarterly
, vol. 82, no2, 2019: dataso-ciety.net/wp-content/uploads/2019/0
9/Owning-Ethics-PDF-version-2.pdf.
Meulen, Rob van der, «Gartner Says8.4Billion Connected “Things” Will Be
in Use in2017, Up31Percent from2016», Gartner, 7février2017: www.
gartner.com/en/newsroom/press-releases/2017-02-07-gartner-says-8-billion-
connected-things-will-be-in-use-in-2017-up-31-percent-from-2016.
Meyer, John W., et Ronald L. Jepperson, «The “Actors” of Modern Society:
The Cultural Construction of Social Agency»,
Sociological Theory
, vol. 18,
no1, 2000: doi.org/10.1111/0735-2751.00090.
Mezzadra, Sandro, et Brett Neilson, «On the Multiple Frontiers of
Extraction: Excavating Contemporary Capitalism»,
Cultural Studies
, vol.
31, nos2-3, 2017: doi.org/10.1080/09502386.2017.1303425.
Michalski, Ryszard S, «Pattern Recognition as Rule-Guided Inductive
Inference»,
IEEE Transactions on Pattern Analysis Machine Intelligence
, vol.
2, no4, 1980: doi.org/10.1109/TPAMI.1980.4767034.
Michel, Arthur Holland,
Eyes in the Sky
:
The Secret Rise of Gorgon Stare and
How It Will Watch Us All
, Houghton Mifflin Harcourt, 2019.
Microsoft Azure, «API Face: Service d’intelligence artificielle qui analyse les
visages dans les images»: azure.microsoft.com/fr-fr/services/cognitive-servic
es/face.
Mikel, Betsy, «WeWork Just Made a Disturbing Acquisition?; It Raises a Lot
of Flags about Workers’ Privacy»,
Inc. Magazine
, 17février 2019: www.inc.
com/betsy-mikel/wework-is-trying-a-creepy-new-strategy-it-just-might-signa
l-end-of-workplace-as-we-know-it.html.
Mindat.org (base de données sur les minéraux), «Bayan Obo Deposit, […]
Inner Mongolia, China»: www.mindat.org/loc-720.html.
Mirzoeff, Nicholas,
The Right to Look
:
A Counterhistory of Visuality
, Duke
University Press, 2011.
Mitchell, Margaret,
et al.
, «Model Cards for Model Reporting»,
FAT* ’19
:
Proceedings of the Conference on Fairness, Accountability, and Transparency
,
ACM Press, 2019: dl.acm.org/doi/10.1145/3287560.3287596.
Mitchell, Paul Wolff, «The Fault in His Seeds: Lost Notes to the Case of Bias
in Samuel George Morton’s Cranial Race Science»,
PLOS Biology
, vol. 16,
no10, 2018: doi.org/10.1371/journal.pbio.2007008.
Mitchell, Tom M., «The Need for Biases in Learning Generalizations»,
Rutgers University, mai1980: www.cs.cmu.edu/∼tom/pubs/NeedForBias_1
980.pdf.
Mitchell, W. J. T.,
Picture Theory
:
Essays on Verbal and Visual Representation
,
University of Chicago Press, 1994.
Mittelstadt, Brent, «Principles Alone Cannot Guarantee Ethical AI»,
Nature
Machine Intelligence
, novembre2019: doi.org/10.1038/s42256-019-0114-
4.
Mohamed, Shakir, Marie-Therese Png et William Isaac, «Decolonial AI:
Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence»,
Philosophy&Technology
, vol. 33?; no4, 2020: doi.org/10.1007/s13347-02
0-00405-8.
Moll, Joana, «CO2GLE»: www.janavirgin.com/CO2/CO2GLE_about.htm
l?; www.janavirgin.com/CO2.
Molnar, Phillip, Gary Robbins et David Pierson, «Cutting Edge: Apple’s
Purchase of Emotient Fuels Artificial Intelligence Boom in Silicon Valley»,
Los Angeles Times
, 17janvier2016: www.latimes.com/business/technology/l
a-fi-cutting-edge-facial-recognition-20160117-story.html.
Morris, David Z., «Major Advertisers Flee YouTube over Videos Exploiting
Children»,
Fortune
, 26novembre2017: fortune.com/2017/11/26/advertise
rs-flee-youtube-child-exploitation.
Morton, Timothy,
Hyperobjets. Pphilosophie et écologie après la fin du monde
,
trad. L. Bury, EPCC Cité du design, 2018.
Mosco, Vincent,
To the Cloud
:
Big Data in a Turbulent World
, Paradigm,
2014.
Müller-Maguhn, Andy,
et al.
, «The NSA Breach of Telekom and Other
German Firms»,
Der Spiegel
, 14septembre2014: www.spiegel.de/internati
onal/world/snowden-documents-indicate-nsa-has-breached-deutsche-teleko
m-a-991503.html.
Multimedia Commons Initiative, «YFCC100M Core Dataset», 4
décembre2015: multimediacommons.wordpress.com/yfcc100m-core-datas
et.
Mumford, Lewis, «The First Megamachine»,
Diogenes
, vol. 14, no55, 1966:
doi.org/10.1177/039219216601405501.
—,
Le Mythe de la machine
,
t. 1
:
La technologie et le développement humain
,
trad. L. Dilé, Fayard, 1973.
—,
Technique et civilisation
, trad. D. Moutonnier, Seuil, 1950.
Murgia, Madhumita, et Max Harlow, «Who’s Using Your Face? The Ugly
Truth about Facial Recognition»,
Financial Times
, 19 avril2019: www.ft.co
m/content/cf19b956-60a2-11e9-b285-3acd5d43599e.
Muse, Abdi, «Organizing Tech», AI Now2019Symposium, AI Now
Institute: ainowinstitute.org/symposia/2019-symposium.html.
Nakashima, Ellen, et Joby Warrick, «For NSA Chief, Terrorist Threat Drives
Passion to “Collect It All”»,
The Washington Post
, 14 juillet2013: www.was
hingtonpost.com/world/national-security/for-nsa-chief-terrorist-threat-drive
s-passion-to-collect-it-all/2013/07/14/3d26ef80-ea49-11e2-a301-ea5a8116
d211_story.html.
NASA, «Outer Space Treaty of1967», NASA History, 1967: history.nasa.go
v/1967treaty.html.
Nassar, Nedal,
et al.
, «Evaluating the Mineral Commodity Supply Risk of the
US Manufacturing Sector»,
Science Advances
, vol. 6, no8, 2020: www.scien
ce.org/doi/10.1126/sciadv.aay8647.
Natarajan, Prem, «Amazon and NSF Collaborate to Accelerate Fairness in AI
Research»,
Alexa Blogs
, 25mars2019: developer.amazon.com/fr/blogs/alex
a/post/d9a995d4-943a-456b-9527-848f437b1a8c/amazon-and-nsf-collabor
ate-to-accelerate-fairness-in-ai-research.
Nations unies, Conférence des Nations unies sur le commerce et le
développement (CNUCED), «Étude sur les transports maritimes», 2017:
unctad.org/en/PublicationsLibrary/rmt2017_fr.pdf.
National Institute of Standards and Technology (NIST), «Special
Database32–Multiple Encounter Dataset (MEDS)»: www.nist.gov/itl/ia
d/image-group/special-database-32-multiple-encounter-dataset-meds.
National Cooperative Purchasing Alliance (NCPA), «Vigilant Solutions»: ww
w.ncpa.us/Vendors/Vigilant%20Solutions.
Nedlund, Evelina, «Apple Card Is Accused of Gender Bias?; Here’s How
That Can Happen»,
CNN Business
, 12novembre2019: edition.cnn.com/2
019/11/12/business/apple-card-gender-bias/index.html.
Negroni, Christine, «How to Determine the Power Rating of Your Gadget’s
Batteries»,
The New York Times
, 26décembre2016: www.nytimes.com/20
16/12/26/business/lithium-ion-battery-airline-safety.html.
Nelson, Alondra,
The Social Life of DNA
:
Race, Reparations, and Reconciliation
after the Genome
, Beacon, 2016.
Nelson, Alondra, Thuy Linh N. Tu et Alicia Headlam Hines, «Introduction:
Hidden Circuits»,
Technicolor
:
Race, Technology, and Everyday Life
, Alondra
Nelson, Thuy Linh N. Tu et Alicia Headlam Hines (dir.), New York
University Press, 2001.
Nelson, Francis W., et Henry Kučera,
Brown Corpus Manual
:
Manual of
Information to Accompany a Standard Corpus of Present-Day Edited American
English for Use with Digital Computers
, Brown University Press, 1979: icam
e.uib.no/brown/bcm.html.
Nelson, Robin, «Racism in Science: The Taint That Lingers»,
Nature
,
25juin2019: www.nature.com/articles/d41586-019-01968-z.
Newman, Lily Hay, «Internal Docs Show How ICE Gets Surveillance Help
From Local Cops»,
Wired
, 13mars2019: www.wired.com/story/ice-license
-plate-surveillance-vigilant-solutions.
Nielsen, Kim E.,
A Disability History of the United States
, Beacon, 2012.
Nietzsche, Friedrich,
Fragments posthumes (automne1884-automne 1885)
,
Œuvres philosophiques complètes
XI
, trad. M. Haar et M. B. de Launay,
Gallimard, 1982.
Nilsson, Nils J.,
The Quest for Artificial Intelligence
:
A History of Ideas and
Achievements
, Cambridge University Press, 2009.
Nilsson, Patricia, «How AI Helps Recruiters Track Jobseekers’ Emotions»,
Financial Times
, 28février2018: www.ft.com/content/e2e85644-05be-11e
8-9650-9c0ad2d7c5b5.
Noble, Safiya Umoja,
Algorithms of Oppression
:
How Search Engines Reinforce
Racism
, NYU Press, 2018.
«NSAPhishing Tactics and Man in the Middle Attacks»,
The Intercept
,
12mars2014: theintercept.com/document/2014/03/12/nsa-phishing-tactic
s-man-middle-attacks.
Office of Energy Efficiency&Renewable Energy, «How Does a Lithium-Ion
Battery Work?», 14septembre2017: www.energy.gov/eere/articles/how-do
es-lithium-ion-battery-work.
OffNow.org, «Off Now: How Your State Can Help Support the Fourth
Amendment»: s3.amazonaws.com/TAChandbooks/ OffNow-
Handbook.pdf.
Ohm, Paul, «Don’t Build a Database of Ruin»,
Harvard Business Review
,
23août2012: hbr.org/2012/08/dont-build-a-database-of-ruin.
Ohtake, Miyoko, «Psychologist Paul Ekman Delights at Exploratorium»,
Wired
, 28janvier2008: www.wired.com/2008/01/psychologist-pa.
O’Neil, Cathy,
Algorithmes. La bombe à retardement
, trad. S. Marty, Les Arènes,
2018.
O’Neill, Gerard K.,
Les Villes de l’espace. Vers le peuplement, l’industrialisation et
la production d’énergie dans l’espace
, trad. C. Léourier, Robert Laffont, 1978.
OpenAI, «AI and Compute», 16mai2018: openai.com/blog/ai-and-comput
e.
Osumi, Magdalena, «Former Tepco Executives Found Not Guilty of Criminal
Negligence in Fukushima Nuclear Disaster»,
The Japan Times Online
,
19septembre2019: www.japantimes.co.jp/news/2019/09/19/national/crim
e-legal/tepco-trio-face-tokyo-court-ruling-criminal-case-stemming-fukushim
a-nuclear-disaster.
Paglen, Trevor, «Operational Images»,
e-flux journal
, no59, novembre 2014:
www.e-flux.com/journal/59/61130/operational-images.
Palantir, «Palantir Gotham»: www.palantir.com/platforms/gotham.
«Palantir and Cambridge Analytica: What Do We Know?»,
WikiTribune
,
27mars2018: www.wikitribune.com/wt/news/article/58386.
Pande, Vijay, «Artificial Intelligence’s “Black Box” Is Nothing to Fear»,
The
New York Times
, 25janvier2018: www.nytimes.com/2018/01/25/opinion/
artificial-intelligence-black-box.html.
Papert, Seymour A., «The Summer Vision Project», 1er juillet1966: dspace.
mit.edu/handle/1721.1/6125.
Parikka, Jussi,
A Geology of Media
, University of Minnesota Press, 2015.
Pasquale, Frank.
Black Box Society. Les algorithmes secrets qui contrôlent
l’économie et l’information
, trad. F. Devesa, P. Adams et L. Di Bisceglie, FYP
Éditions, 2015.
Patterson, Scott, et Alexandra Wexler, «Despite Cleanup Vows, Smartphones
and Electric Cars Still Keep Miners Digging by Hand in Congo»,
The Wall
Street Journal
, 13septembre2018: www.wsj.com/articles/smartphones-elect
ric-cars-keep-miners-digging-by-hand-in-congo-1536835334.
Paul Ekman Group: www.paulekman.com.
Pellerin, Cheryl, «Deputy Secretary: Third Offset Strategy Bolsters America’s
Military Deterrence», Washington, D.C.: U.S. Department of Defense,
31octobre2016: www.defense.gov/Explore/News/Article/Article/991434/d
eputy-secretary-third-offset-strategy-bolsters-americas-military-deterrence.
Perez, Sarah, «Microsoft Silences Its New A.I. Bot Tay, after Twitter Users
Teach It Racism [Updated]»,
TechCrunch
, 24mars2016: social.techcrunch.
com/2016/03/24/microsoft-silences-its-new-a-i-bot-tay-after-twitter-users-te
ach-it-racism.
Pfungst, Oskar,
Clever Hans (The Horse of Mr. von Osten)
:
A Contribution to
Experimental Animal and Human Psychology
, trad. C. L. Rahn, Henry Holt,
1911.
Philips, «Responsible Minerals Policy and Due Diligence»: www.philips.com/
a-w/about/company/suppliers/supplier-sustainability/our-programs/responsi
ble-sourcing-of-minerals.html.
Phillips, P. Jonathon, Patrick J. Rauss et Sandor Z. Der, «FERET (Face
Recognition Technology) Recognition Algorithm Development and Test
Results», Army Research Laboratory, octobre1996: apps.dtic.mil/dtic/tr/fu
lltext/u2/a315841.pdf.
Picard, Rosalind, «Affective Computing Group», MIT Media Lab: www.med
ia.mit.edu/groups/affective-computing/overview.
Pichai, Sundar, «AI at Google: Our Principles», Google, 7juin 2018:
blog.google/technology/ai/ai-principles.
Planetary Resources, «Why Asteroids»: www.planetaryresources.com/why-ast
eroids.
Plumwood, Val, «The Politics of Reason: Towards a Feminist Logic»,
Australasian Journal of Philosophy
, vol71, no4, 1993: doi.org/10.1080/000
48409312345432.
Poggio, Tomaso,
et al.
, «Why and When Can Deep–but not Shallow–
Networks Avoid the Curse of Dimensionality: A Review»,
International
Journal of Automation and Computing
, vol. 14, no5, 2017: link.springer.co
m/article/10.1007/s11633-017-1054-2.
Pontin, Jason, «Artificial Intelligence, with Help from the Humans»,
The New
York Times
, 25mars2007: www.nytimes.com/2007/03/25/business/yourm
oney/25Stream.html.
Pontin, Mark Williams, «Lie Detection»,
MIT Technology Review
, 21
avril2009: www.technologyreview.com/s/413133/lie-detection.
Powell, Corey S., «Jeff Bezos Foresees a Trillion People Living in Millions of
Space Colonies»,
NBC News
, 15mai2019: www.nbcnews.com/mach/scien
ce/jeff-bezos-foresees-trillion-people-living-millions-space-colonies-here-ncn
a1006036.
Pratt, Mary Louise, «Arts of the Contact Zone»,
Profession
, 1991: www.jstor.
org/stable/25595469.
—,
Imperial Eyes
:
Travel Writing and Transculturation
, Routledge, 2008.
Priest, Dana, «NSA Growth Fueled by Need to Target Terrorists»,
The
Washington Post
, 21juillet2013: www.washingtonpost.com/world/national-
security/nsa-growth-fueled-by-need-to-target-terrorists/2013/07/21/24c93cf
4-f0b1-11e2-bed3-b9b-6fe264871_story.html.
Pryzbylski, David J., «Changes Coming to NLRB’s Stance on CompanyE-
Mail Policies?»,
The National Law Review
, 2août 2018: www.natlawrevie
w.com/article/changes-coming-to-nlrb-s-stance-company-e-mail-policies.
Pseudo-Aristote,
Physiognomica
, dans Aristote,
Minor Works
, trad. W. S. Hett,
Loeb Classical Library307, Harvard University Press, 1936.
Puar, Jasbir K.,
Terrorist Assemblages
:
Homonationalism in Queer Times
, Duke
University Press, 2017. Ouvrage partiellement traduit sous le titre
Homonationalisme. La Politique queer après le11 septembre2001
, trad. M.
Cervulle et J. Minx, Amsterdam, 2012.
Pugliese, Joseph, «Death by Metadata: The Bioinformationalisation of Life
and the Transliteration of Algorithms to Flesh»,
Security, Race, Biopower
:
Essays on Technology and Corporeality
, Holly RandellMoon et Ryan Tippet
(dir.), Palgrave Macmillan, 2016.
Puschmann, Cornelius, et Jean Burgess, «Big Data, Big Questions: Metaphors
of Big Data»,
International Journal of Communication
, vol. 8, 2014: ijoc.or
g/index.php/ijoc/article/view/2169.
Qiu, Jack,
Goodbye iSlave
:
A Manifesto for Digital Abolition
, University of
Illinois Press, 2016.
Qiu, Jack, Melissa Gregg et Kate Crawford, «Circuits of Labour: A Labour
Theory of the iPhone Era»,
TripleC
:
Communication,
Capitalism&Critique
, vol. 12, no2, 2014: doi.org/10.31269/triplec.v12i2.
540.
Raji, Inioluwa Deborah, et Joy Buolamwini, «Actionable Auditing:
Investigating the Impact of Publicly Naming Biased Performance Results of
Commercial AI Products»,
Proceedings of the2019 AAAI/ACMConference on
AI, Ethics, and Society
: www.aies-conference.com/2019/wp-content/upload
s/2019/01/AIES-19_paper_223.pdf.
Raji, Inioluwa Deborah, Timnit Gebru, Margaret Mitchell, Joy Buolamwini,
Joonseok Lee et Emily Denton, «Saving Face: Investigating the Ethical
Concerns of Facial Recognition Auditing»,
Proceedings of
the2020AAAI/ACM Conference on AI, Ethics, and Society
. 2020.
Ramachandran, Vilayanur S., et Diane Rogers-Ramachandran, «Aristotle’s
Error»,
Scientific American
, 1er mars2010: www.scientificamerican.com/art
icle/aristotles-error.
Rankin, Joy Lisi,
A People’s History of Computing in the United States
, Harvard
University Press, 2018.
—, «Remembering the Women of the Mathematical Tables Project»,
The
New Inquiry
, 14mars2019: thenewinquiry.com/blog/remembering-the-wo
men-of-the-mathematical-tables-project.
Rehmann, Jan, «Taylorism and Fordism in the Stockyards»,
Max Weber
:
Modernisation as Passive Revolution
, Brill, 2015.
Reichhardt, Tony, «The First Photo from Space»,
Air&Space Magazine
,
24octobre2006: www.airspacemag.com/space/the-first-photo-from-space-
13721411.
Rein, Hanno, Daniel Tamayo et David Vokrouhlicky, «The Random Walk of
Cars and Their Collision Probabilities with Planets»,
Aerospace
, vol. 5, no2,
2018: doi.org/10.3390/aerospace5020057.
Revell, Timothy, «Google DeepMind’s NHS Data Deal “Failed to Comply”
with Law»,
New Scientist
, 3juillet2017: www.newscientist.com/article/213
9395-google-deepminds-nhs-data-deal-failed-to-comply-with-law.
Rhue, Lauren, «Racial Influence on Automated Perceptions of Emotions»,
SSRN, 9novembre2018: dx.doi.org/10.2139/ssrn.3281765.
Richardson, Rashida, Jason M. Schultz et Kate Crawford, «Dirty Data, Bad
Predictions: How Civil Rights Violations Impact Police Data, Predictive
Policing Systems, and Justice»,
NYU Law Review Online
, vol. 94, 2019: w
ww.nyulawreview.org/wp-content/uploads/2019/04/NYULawReview-94-Ri
chardson-Schultz-Crawford.pdf.
Richardson, Rashida, Jason M. Schultz et Vincent M. Southerland,
«Litigating Algorithms: 2019US Report», AI Now Institute,
septembre2019: ainowinstitute.org/litigatingalgorithms-2019-us.pdf.
Risen, James, et Laura Poitras, «N.S.A. Report Outlined Goals for More
Power»,
The New York Times
, 22novembre2013: www.nytimes.com/201
3/11/23/us/politics/nsa-report-outlined-goals-for-more-power.html.
Robbins, Martin, «How Can Our Future Mars Colonies Be Free of Sexism
and Racism?»,
The Guardian
, 6mai2015: www.theguardian.com/science/
the-lay-scientist/2015/may/06/how-can-our-future-mars-colonies-be-free-of
-sexism-and-racism.
Roberts, Dorothy,
Fatal Invention
:
How Science, Politics, and Big Business Re-
Create Race in the Twenty-First Century
, New Press, 2011.
Roberts, Sarah T.,
Derrière les écrans. Les Nettoyeurs du Web à l’ombre des réseaux
sociaux
, trad. S. Renaut, La Découverte, 2020.
Romano, Benjamin, «Suits Allege Amazon’s Alexa Violates Laws by Recording
Children’s Voices without Consent»,
The Seattle Times
, 12juin2019: www.
seattletimes.com/business/amazon/suit-alleges-amazons-alexa-violates-laws-b
y-recording-childrens-voices-without-consent.
Romm, Tony, «U.S. Government Begins Asking Foreign Travelers about
Social Media»,
Politico
, 22décembre2016: www.politico.com/story/2016/
12/foreign-travelers-social-media-232930.
Rouast, Philipp V., Marc Adam et Raymond Chiong, «Deep Learning for
Human Affect Recognition: Insights and New Developments»,
IEEE
Transactions on Affective Computing
, vol. 12, no2, 2021: doi.org/10.1109/T
AFFC.2018.2890471.
Russell, Andrew L.,.
Open Standards and the Digital Age
:
History, Ideology, and
Networks
, Cambridge University Press, 2014.
Russell, James A., «Is There Universal Recognition of Emotion from Facial
Expression? A Review of the Cross-Cultural Studies»,
Psychological Bulletin
,
vol. 115, no1, 1994: doi.org/10.1037/0033-2909.115.1.102.
Russell, Stuart J., et Peter Norvig,
Intelligence artificielle
, trad. F. Popineau
(dir.), Pearson Education, 2010.
Sadowski, Jathan, «Potemkin AI»,
Real Life
, 6août2018: reallife-mag.com/p
otemkin-ai.
—, «When Data Is Capital: Datafication, Accumulation, and Extraction»,
Big Data&Society
, vol. 6, no1, 2019: doi.org/10.1177/205395171882054
9.
Sample, Ian, «What Is the Internet? 13Key Questions Answered»,
The
Guardian
, 22octobre2018: www.theguardian.com/tech-nology/2018/oct/2
2/what-is-the-internet-13-key-questions-answered.
San Francisco Department of Homelessness and Supportive Housing, «Street
Homelessness»: hsh.sfgov.org/street-homelessness.
Sánchez-Monedero, Javier, et Lina Dencik, «The Datafication of the
Workplace», Working Paper, Data Justice Lab, Cardiff University, 9
mai2019: datajusticeproject.net/wp-content/uploads/sites/30/2019/05/Rep
ort-The-datafication-of-the-workplace.pdf.
Saville, Samantha M., «Towards Humble Geographies»,
Area
, vol. 53, no1,
2021: doi.org/10.1111/area.12664.
Satisky, Jake, «ADuke Study Recorded Thousands of Students’ Faces. Now
They’re Being Used All over the World»,
The Chronicle
, 12 juin2019: ww
w.dukechronicle.com/article/2019/06/duke-university-facial-recognition-dat
a-set-study-surveillance-video-students-china-uyghur.
Scahill, Jeremy, et Glenn Greenwald, «The NSA’s Secret Role in the U.S.
Assassination Program»,
The Intercept
, 10février2014: theintercept.com/2
014/02/10/the-nsas-secret-role.
Schaake, Marietje, «What Principles Not to Disrupt: On AI and
Regulation»,
Medium
, 5novembre2019: medium.com/@marietje.schaake/
what-principles-not-to-disr upt-on-ai-and-regulation-cabbd92fd30e.
Schaffer, Simon, «Les machines calculatrices de Babbage et le “Factory
System”», trad. É. Zeitlin,
Sociologie de la communication
, vol. 1, no1,
1997: www.persee.fr/doc/reso_004357302_1997_mon_1_1_3840.
Scharmen, Fred,
Space Settlements
, Columbia University Press, 2019.
Scharre, Paul,
et al.
, «Eric Schmidt Keynote Address at the Center for a New
American Security Artificial Intelligence and Global Security Summit»,
CNAS, 13novembre2017: www.cnas.org/publications/transcript/eric-sch
midt-keynote-address-at-the-center-for-a-newamerican-security-artificial-int
elligence-and-global-securitysummit.
Scheuerman, Morgan Klaus,
et al.
, «How We’ve Taught Algorithms to See
Identity: Constructing Race and Gender in Image Databases for Facial
Analysis»,
Proceedings of the ACM on Human-Computer Interaction
, vol. 4,
no CSCW1, 2020: doi.org/10.1145/3392866.
Scheyder, Ernest, «Tesla Expects Global Shortage of Electric Vehicle Battery
Minerals»,
Reuters
, 2mai2019: www.reuters.com/article/us-usa-lithium-ele
ctric-tesla-exclusive-idUSKCN1S81QS.
Schlanger, Zoë, «If Shipping Were a Country, It Would Be the Sixth-Biggest
Greenhouse Gas Emitter»,
Quartz
, 17avril2018: qz.com/1253874/if-ship
ping-were-a-country-it-would-the-worlds-sixth-biggest-green house-gas-emit
ter.
Schmidt, Eric, «I Used to Run Google?; Silicon Valley Could Lose to
China»,
The New York Times
, 27février2020: www.nytimes.com/2020/0
2/27/opinion/eric-schmidt-ai-china.html.
Schneier, Bruce, «Attacking Tor: How the NSA Targets Users’ Online
Anonymity»,
The Guardian
, 4octobre2013: www.theguardian.com/worl
d/2013/oct/04/tor-attacks-nsa-users-online-anonymity.
Schwartz, Oscar, «Don’t Look Now: Why You Should Be Worried about
Machines Reading Your Emotions»,
The Guardian
, 6mars 2019: www.the
guardian.com/technology/2019/mar/06/facial-recognition-software-emotion
al-science.
Scott, James C.,
L’Œil de l’
É
tat. Moderniser, uniformiser, détruire
, La
Découverte, 2021.
Sedgwick, Eve Kosofsky,
Touching Feeling
:
Affect, Pedagogy, Performativity
,
Duke University Press, 2003.
Sedgwick, Eve Kosofsky, Adam Frank et Irving E. Alexander (dir.),
Shame and
Its Sisters
:
A Silvan Tomkins Reader
, Duke University Press, 1995.
Segura, María Soledad, et Silvio Waisbord, «Between Data Capitalism and
Data Citizenship»,
Television&New Media
, vol. 20, no4, 2019: doi.org/1
0.1177/1527476419834519.
Sekula, Allan, «Le corps et l’archive»,
Écrits sur la photographie: 1974-1986
,
École nationale supérieure des Beaux-Arts, 2013.
Senechal, Thibaud, Daniel McDuff et Rana el Kaliouby, «Facial Action Unit
Detection Using Active Learning and an Efficient Non-Linear Kernel
Approximation»,
2015IEEE International Conference on Computer Vision
Workshop (ICCVW)
: doi.org/10.1109/ICCVW.2015.11.
Senior, Ana, «John Hancock Leaves Traditional Life Insurance Model Behind
to Incentivize Longer, Healthier Lives» (communiqué de presse),
19septembre2018: www.manulife.com/en/news/jh-vitality-perks.html.
Seo, Sungyong,
et al.
, «Partially Generative Neural Networks for Gang Crime
Classification with Partial Information»,
Proceedings of the 2018AAAI/ACM
Conference on AI, Ethics, and Society
: doi.org/10.1145/3278721.3278758.
Shaer, Matthew, «The Asteroid Miner’s Guide to the Galaxy»,
Foreign Policy
,
28avril2016: foreignpolicy.com/2016/04/28/theasteroid-miners-guide-to-t
he-galaxy-space-race-mining-asteroidsplanetary-research-deep-space-industri
es.
Shane, Scott, et Daisuke Wakabayashi, «“The Business of War”: Google
Employees Protest Work for the Pentagon»,
The New York Times
,
4avril2018: www.nytimes.com/2018/04/04/technology/google-letter-ceo-
pentagon-project.html.
Shankleman, Jessica,
et al.
, «We’re Going to Need More Lithium»,
Bloomberg
,
7septembre2017: www.bloomberg.com/graphics/2017-lithiumbattery-fut
ure.
SHARE Foundation, «Serbian Government Is Implementing Unlawful Video
Surveillance with Face Recognition in Belgrade» (bulletin politique non
daté): www.sharefoundation.info/wp-content/uploads/Serbia-Video-Surveill
ance-Policy-brief-final.pdf.
Siebers, Tobin,
Disability Theory
, University of Michigan Press, 2008.
Siegel, Erika H.,
et al.
, «Emotion Fingerprints or Emotion Populations? A
Meta-Analytic Investigation of Autonomic Features of Emotion
Categories»,
Psychological Bulletin
, vol. 144, no4, 2018): doi.org /10.1037/
bul0000128.
Silberman, M. S.,
et al.
, «Responsible Research with Crowds: Pay
Crowdworkers at Least Minimum Wage»,
Communications of the ACM
, vol.
61, no3, 2018: doi.org/10.1145/3180492.
Silver, David,
et al.
, «Mastering the Game of Go without Human
Knowledge»,
Nature
, 19octobre2017: www.nature.com/articles/nature24
270.
Simmons, Brandon, «Rekor Software Adds License Plate Reader Technology
to Home Surveillance, Causing Privacy Concerns»,
WKYC
,
31janvier2020: www.wkyc.com/article/tech/rekor-software-adds-license-pl
ate-reader-technology-to-home-surveillance-causing-privacy-concerns/95-7c
9834d9-5d54-4081-b983-b2e6142a3213.
Simpson, Cam, «The Deadly Tin inside Your Smartphone»,
Bloomberg
,
24août2012: www.bloomberg.com/news/articles/2012-08-23/the-deadly-t
in-inside-your-smartphone.
Singh, Amarjot,
Eye in the Sky
:
Real-Time Drone Surveillance System (DSS) for
Violent Individuals Identification
(vidéo), 2juin2018: www.youtube.com/w
atch?v=zYypJPJipYc.
«SKYNET: Courier Detection via Machine Learning»,
The Intercept
,
8mai2015: theintercept.com/document/2015/05/08/skynet-courier.
Sloane, Garett, «Online Ads for High-Paying Jobs Are Targeting Men More
Than Women»,
AdWeek
, 7juillet2015: www.adweek.com/digital/seemingl
y-sexist-ad-targeting-offers-more-men-women-high-paying-executive-jobs-1
65782.
SmallCapPower, «Albemarle (NYSE: ALB) Could Be Targeting These Nevada
Lithium Juniors», 9septembre2016: smallcappower.com/top-stories/albe
marle-nysealb-targeting-nevada-lithium-juniors.
Smith, Adam,
Recherches sur la nature et les causes de la richesse des nations
, trad.
G. Garnier, Agasse, 1822.
Smith, Brad, «Microsoft Will Be Carbon Negative by2030»,
Official
Microsoft Blog
, 20janvier2020: blogs.microsoft.com/blog/2020/01/16/mic
rosoft-will-be-carbon-negative-by-2030.
—, «Technology and the US Military»,
Microsoft on the Issues
, 26
octobre2018: blogs.microsoft.com/on-the-issues/2018/10/26/technology-a
nd-the-us-military.
«Snowden Archive: The SIDtoday Files»,
The Intercept
, 29mai 2019: theint
ercept.com/snowden-sidtoday.
Solon, Olivia, «Facial Recognition’s “Dirty Little Secret”: Millions of Online
Photos Scraped without Consent»,
NBC News
, 12mars 2019: www.nbcne
ws.com/tech/internet/facial-recognition-s-dirty-little-secret-millions-online-
photos-scraped-n981921.
Souriau, Étienne.
Les Différents Modes d’existence
, PUF, 2009.
Spangler, Todd, «Listen to the Big Ticket with Marc Malkin», iHeartRadio,
3mai2019: www.iheart.com/podcast/28955447.
Spargo, John,
Syndicalism, Industrial Unionism, and Socialism
[1913], Red and
Black, 2009.
Specht, Joshua,
Red Meat Republic
:
A Hoof-to-Table History of How Beef
Changed America
, Princeton University Press, 2019.
Standage, Tom,
The Turk
:
The Life and Times of the Famous Eighteenth-
Century Chess-Playing Machine
, Walker, 2002.
Stark, Luke, «Facial Recognition Is the Plutonium of AI»,
XRDS
:
Crossroads,
The ACM Magazine for Students
, vol. 25, no3, 2019: doi.org/10.1145/331
3129.
Stark, Luke, et Anna Lauren Hoffmann, «Data Is the New What? Popular
Metaphors and Professional Ethics in Emerging Data Culture»,
Journal of
Cultural Analytics
, vol. 4, no1, 2019: culturalanalytics.org/article/11052-da
ta-is-the-new-what-popular-metaphors-amp-professional-ethics-in-emerging
-data-culture.
Starosielski, Nicole,
The Undersea Network
, Duke University Press, 2015.
Steadman, Philip, «Samuel Bentham’s Panopticon»,
Journal of Bentham
Studies
, vol. 14, no1, 2012: doi.org/10.14324/111.2045-757X.044.
Steinberger, Michael, «Does Palantir See Too Much?»,
The New York Times
Magazine
, 21octobre2020: www.nytimes.com/interactive/2020/10/21/ma
gazine/palantir-alex-karp.html.
Stewart, Ashley, et Nicholas Carlson, «The President of Microsoft Says It Took
Its Bid for the $10Billion JEDI Cloud Deal as an Opportunity to Improve
Its Tech–and That’s Why It Beat Amazon»,
Business Insider
,
23janvier2020: www.businessinsider.com/brad-smith-microsofts-jedi-win-
over-amazon-was-no-surprise-2020-1.
Stewart, Russell,
Brainwash Dataset
, Stanford Digital Repository, 2015: purl.st
anford.edu/sx925dc9385.
Stoller, Bill, «Why the Northern Virginia Data Center Market Is Bigger Than
Most Realize», Data Center Knowledge, 14février2019: www.datacenterk
nowledge.com/amazon/why-northern-virginia-data-center-market-bigger-m
ost-realize.
Strand, Ginger Gail, «Keyword: Evil»,
Harper’s Magazine
, mars 2008: harper
s.org/archive/2008/03/keyword.
Strubell, Emma, Ananya Ganesh et Andrew McCallum, «Energy and Policy
Considerations for Deep Learning in NLP»,
ArXiv: 1906.02243[Cs]
,
5juin2019: arxiv.org/abs/1906.02243.
Suchman, Lucy, «Algorithmic Warfare and the Reinvention of Accuracy»,
Critical Studies on Security
, vol. 8, no2, 2020: doi.org/10.1080/21624887.2
020.1760587.
Sullivan, Mark, «Fact: Apple Reveals It Has900Million iPhones in the
Wild»,
Fast Company
, 29janvier2019: www.fastcompany.com/90298944/f
act-apple-reveals-it-has-900-million-iphones-in-the-wild.
Sutton, Rich, «The Bitter Lesson», 13mars2019: www.incompleteideas.net/
IncIdeas/BitterLesson.html.
Swinhoe, Dan, «What Is Spear Phishing? Why Targeted Email Attacks Are So
Difficult to Stop»,
CSO Online
, 21janvier2019: www.csoonline.com/artic
le/3334617/what-is-spear-phishing-why-targeted-email-attacks-are-so-diffic
ult-to-stop.html.
Szalai, Jennifer, «How the “Temp” Economy Became the New Normal»,
The
New York Times
, 22août2018: www.nytimes.com/2018/08/22/books/revie
w-temp-louis-hyman.html.
Tani, Maxwell, «The Intercept Shuts Down Access to Snowden Trove»,
Daily
Beast
, 14mars2019: www.thedailybeast.com/the-intercept-shuts-down-acc
ess-to-snowden-trove.
Taylor, Astra, «The Automation Charade»,
Logic Magazine
, 1er août 2018: lo
gicmag.io/failure/the-automation-charade.
—,
Démocratie.com. Pouvoir, culture et résistance à l’ère des géants de la Silicon
Valley
, trad. N. Calvé, Lux, 2014.
Taylor, Frederick Winslow,
La Direction scientifique des entreprises
, trad. L.
Maury, Dunod, 1967.
Taylor, Jill Bolte, «The2009Time100: Paul Ekman»,
Time
, 30 avril2009:
content.time.com/time/specials/packages/article/0,28804,1894410_189320
9_1893475,00.html.
«The War against Immigrants: Trump’s Tech Tools Powered by Palantir»,
Mijente
, août2019: mijente.net/wp-content/uploads/2019/08/Mijente-The
-War-Against-Immigrants_-Trumps-Tech-Tools-Powered-by-Palantir_.pdf.
Theobald, Ulrich, «Liji», ChinaKnowledge.de, 24juillet2010: www.chinakn
owledge.de/Literature/Classics/liji.html.
Thiel, Peter, «Good for Google, Bad for America»,
The NewYorkTimes
, 1er
août2019: www.nytimes.com/2019/08/01/opinion/peter-thiel-
google.html.
Thomas, David Hurst,
Skull Wars
:
Kennewick Man, Archaeology, and the Battle
for Native American Identity
, Basic Books, 2002.
Thompson,
Temps, discipline du travail et capitalisme industriel
, trad. I.
Taudière, La Fabrique, 2004.
Tishkoff, Sarah A., et Kenneth K. Kidd, «Implications of Biogeography of
Human Populations for “Race” and Medicine»,
Nature Genetics
, vol. 36,
no11, suppl. 21-27, 2004: doi.org/10.1038/ng1438.
Tockar, Anthony, «Riding with the Stars: Passenger Privacy in the NYC
Taxicab Dataset», 15septembre2014: agkn.wordpress.com/2014/09/15/ri
ding-with-the-stars-passenger-privacy-in-the-nyc-taxicab-dataset.
Tomkins, Silvan S.,
Affect Imagery Consciousness
:
The Complete Edition
,
Springer, 2008.
Tomkins, Silvan S., et Robert McCarter, «What and Where Are the Primary
Affects? Some Evidence for a Theory»,
Perceptual and Motor Skills
, vol. 18,
no1, 1964: doi.org/10.2466/pms.1964.18.1.119.
Toscano, Marion E., et Elizabeth Maynard, «Understanding the Link:
“Homosexuality“, Gender Identity, and the DSM»,
Journal of LGBT Issues
in Counseling
, vol. 8, no3, 2014:
doi.org/10.1080/15538605.2014.897296.
Trainer, Ted,
Renewable Energy Cannot Sustain a Consumer Society
, Springer,
2007.
Tronchin, Lamberto, «The “Phonurgia Nova” of Athanasius Kircher: The
Marvellous Sound World of17th Century», 155e colloque de l’Acoustical
Society of America, janvier2008: doi.org /10.1121/1.2992053.
Tsukayama, Hayley, «Facebook Turns to Artificial Intelligence to Fight Hate
and Misinformation in Myanmar»,
The Washington Post
, 15 août2018: ww
w.washingtonpost.com/technology/2018/08/16/facebook-turns-artificial-int
elligence-fight-hate-misinformation-myanmar.
Tucker, Patrick, «Refugee or Terrorist? IBM Thinks Its Software Has the
Answer»,
Defense One
, 27janvier2016: www.defenseone.com/technology/
2016/01/refugee-or-terrorist-ibm-thinks-its-software-has-answer/125484.
Tully, John, «A Victorian Ecological Disaster: Imperialism, the Telegraph, and
Gutta-Percha»,
Journal of World History
, vol. 20, no4, 2009: doi.org/10.13
53/jwh.0.0088.
Turing, A. M., «Les ordinateurs et l’intelligence»,
La Machine de Turing
(Jean-
Yves Girard (dir.), Points sciences, 1999.
Turner, Graham, «Is Global Collapse Imminent? An Updated Comparison of
The Limits to Growth
with Historical Data», MSSI Research Paper no4,
Melbourne Sustainable Society Institute, University of Melbourne,
août2014.
Turner, H. W., «Contribution to the Geology of the Silver Peak Quadrangle,
Nevada»,
Bulletin of the Geological Society of America
, vol. 20, no1, 1909: d
oi.org/10.1130/GSAB-20-223.
Tuschling, Anna, «The Age of Affective Computing»,
Timing of Affect
:
Epistemologies, Aesthetics, Politics
, Marie-Luise Angerer, Bernd Bösel et
Michaela Ott (dir.), Diaphanes, 2014.
Tversky, Amos, et Daniel Kahneman, «Judgment under Uncertainty:
Heuristics and Biases»,
Science
, 27septembre1974: www.science.org/doi/1
0.1126/science.185.4157.1124.
Twitter for Business, «Advertising on Twitter»: business.twitter.com/fr/advert
ising.html.
Ullman, Ellen,
Life in Code
:
A Personal History of Technology
, MCD Books,
2017.
U.S. Commercial Space Launch Competitiveness Act, Pub. L. No114–90,
114th Cong. 2015: www.congress.gov/114/plaws/publ90/PLAW-114publ9
0.pdf.
U.S. Congress, Senate Select Committee on Intelligence Activities, «Covert
Action in Chile: 1963-1973», Staff Report, 18décembre 1975: www.archi
ves.gov/files/declassification/iscap/pdf/2010-009-doc17.pdf.
U.S. Department of Defense, Deputy Secretary of Defense to Secretaries of the
Military Departments
et al
., Memorandum: «Establishment of an
Algorithmic Warfare Cross-Functional Team (Project Maven)»,
26avril2017: www.govexec.com/media/gbc/docs/pdfs_edit/establishment_
of_the_awcft_project_maven.pdf.
U.S. Department of Defense, «Use of the “Not Releasable to Foreign
Nationals” (NOFORN) Caveat on Department of Defense (DoD)
Information», 17mai2005: fas.org/sgp/othergov/dod/noforn051705.pdf.
U.S. Energy Information Administration, «What Is U.S. Electricity
Generation by Energy Source?»: www.eia.gov/tools/faqs/faq.php?id=42
7&t=3.
U.S. Office of the Director of National Intelligence, «Five Eyes Intelligence
Oversight and Review Council»: www.dni.gov/index.php/ncsc-how-we-wo
rk/217-about/organization/icig-pages/2660-icig-fiorc.
«UTKFace–Aicip»: aicip.eecs.utk.edu/wiki/UTKFace.
Vidal, John, «Health Risks of Shipping Pollution Have Been
“Underestimated”»,
The Guardian
, 9avril2009: www.theguardian.com/en
vironment/2009/apr/09/shipping-pollution.
Vincent, James, «AI “Emotion Recognition” Can’t Be Trusted»,
The Verge
,
25juillet2019: www.theverge.com/2019/7/25/8929793/emotion-recogniti
on-analysis-ai-machine-learning-facial-expression-review.
—, «DronesTaught to SpotViolent Behavior in Crowds UsingAI»,
The Verge
,
6juin2018: www.theverge.com/2018/6/6/17433482/ai-automated-surveill
ance-drones-spot-violent-behavior-crowds.
Vollmann, William T., «Invisible and Insidious»,
Harper’s Magazine
,
mars2015: harpers.org/archive/2015/03/invisible-and-insidious.
Von Neumann, John,
L’Ordinateur et le cerveau
, trad. P. Engel, La Découverte,
1992.
Wade, Lizzie, «Tesla’s Electric Cars Aren’t as Green as You Might Think»,
Wired
, 31mars2016: www.wired.com/2016/03/teslas-electric-cars-might-n
ot-green-think.
Wajcman, Judy, «How Silicon Valley Sets Time»,
New Media&Society
, vol.
21, no6, 2019): doi.org/10.1177/1461444818820073.
—,
Pressed for Time
:
The Acceleration of Life in Digital Capitalism
, University
of Chicago Press, 2015.
Wakabayashi, Daisuke, «Google’s Shadow Work Force: Temps Who
Outnumber Full-Time Employees»,
The New York Times
, 28mai 2019: w
ww.nytimes.com/2019/05/28/technology/google-temp-workers.html.
Wald, Ellen, «Tesla Is a Battery Business, Not a Car Business»,
Forbes
,
15avril2017: www.forbes.com/sites/ellenrwald/2017/04/15/tesla-is-a-batte
ry-business-not-a-car-business.
Waldman, Peter, Lizette Chapman et Jordan Robertson, «Palantir Knows
Everything about You»,
Bloomberg
, 19avril2018: www.bloomberg.com/fea
tures/2018-palantir-peter-thiel.
Wang, Yilun, et Michal Kosinski, «Deep Neural Networks Are More Accurate
Than Humans at Detecting Sexual Orientation from Facial Images»,
Journal of Personality and Social Psychology
, vol. 114, no2, 2018: doi.org/10.
1037/pspa0000098.
Ward, Bob,
Dr. Space
:
The Life of Wernher von Braun
, Naval Institute Press,
2009.
Weigel, Moira, «Palantir goes to the Frankfurt School»,
boundary2
(blog),
10juillet2020: www.boundary2.org/2020/07/moira-weigel-palantir-goes-t
o-the-frankfurt-school.
Weinberger, Sharon, «Airport Security: Intent to Deceive?»,
Nature
,
26mai2010: www.nature.com/articles/465412a.
Weizenbaum, Joseph,
Puissance de l’ordinateur et raison de l’homme. Du
jugement au calcul
, trad. M.-T. Margulici, Éditions d’Informatique, 1981.
—, «On the Impact of the Computer on Society: How Does One Insult a
Machine?»,
Science
, 12mai1972: www.science.org/doi/abs/10.1126/scien
ce.176.4035.609.
Welch, Chris, «Elon Musk: First Humans Who Journey to Mars Must “Be
Prepared to Die”»,
The Verge
, 27septembre2016: www.theverge.com/201
6/9/27/13080836/elon-musk-spacex-mars-mission-death-risk.
Werrett, Simon, «Potemkin and the Panopticon: Samuel Bentham and the
Architecture of Absolutism in Eighteenth Century Russia»,
Journal of
Bentham Studies
, vol. 2, no1, 1999: pdfs.semanticscholar.org/70cf/1e89bb
1a956f7f944b9d33add98e84425185.pdf.
West, Cornel, «A Genealogy of Modern Racism»,
Race Critical Theories
:
Text
and Context
, Philomena Essed et David Theo Goldberg (dir.), Blackwell,
2002.
West, Sarah Myers, «Redistribution and Rekognition: A Feminist Critique
ofFairness»,
Catalyst
:
Feminism, Theory, and Technoscience
, vol. 6, no2,
2020.
West, Sarah Myers, Meredith Whittaker et Kate Crawford, «Discriminating
Systems: Gender, Race, and Power in AI», AI Now Institute, avril2019: ai
nowinstitute.org/discriminatingsystems.pdf.
Whittaker, Meredith,
et al
., AI Now Report2018, AI Now Institute,
décembre2018: ainowinstitute.org/AI_Now_2018_Report.pdf.
—, «Disability, Bias, and AI», AI Now Institute, novembre2019: ainowinsti
tute.org/disabilitybiasai-2019.pdf.
Wilson, Mark, «Amazon and Target Race to Revolutionize the Cardboard
Shipping Box»,
Fast Company
, 6mai2019: www.fast-company.com/90342
864/rethinking-the-cardboard-box-has-never-been-more-important-just-ask-
amazon-and-target.
Wilson, Megan R., «Top Lobbying Victories of2015»,
The Hill
, 16
décembre2015: thehill.com/business-a-lobbying/business-a-lobbying/2633
54-lobbying-victories-of-2015.
Winston, Ali, et Ingrid Burrington, «A Pioneer in Predictive Policing Is
Starting a Troubling New Project»,
The Verge
, 26avril2018: www.theverg
e.com/2018/4/26/17285058/predictive-policing-predpol-pentagon-ai-racial
-bias.
Winner, Langdon,
La Baleine et le Réacteur. À la recherche de limites au temps de
la haute technologie
, Descartes&Cie, 2002.
Wood, Bryan, «What Is Happening with the Uighurs in China?», PBS
NewsHour: www.pbs.org/newshour/features/uighurs.
Wood III, Pat, William L. Massey et Nora Mead Brownell, «FERC Order
Directing Release of Information», Federal Energy Regulatory Commission,
21mars2003: www.caiso.com/Documents/FERCOrderDirectingRelease-I
nformationinDocketNos_PA02-2-000_etal__Manipuation-ElectricandGasP
rices_.pdf.
World Shipping Council, «Containers Lost at Sea–2017Update»,
10juillet2017: www.worldshipping.org/industry-issues/safety/Containers_
Lost_at_Sea_-_2017_Update_FINAL_July_10.pdf.
Wu, Xiaolin, et Xi Zhang, «Automated Inference on Criminality Using Face
Images», 13novembre2016: arxiv.org /abs/1611.04135v1.
Yahoo!, «Datasets»: webscope.sandbox.yahoo.com/catalog.php?-data type=
i&did=67&guccounter=1.
Yang, Kaiyu,
et al.
, «Towards Fairer Datasets: Filtering and Balancing the
Distribution of the People Subtree in the ImageNet Hierarchy»,
FAT*
’
20
:
Proceedings of the2020Conference on Fairness, Accountability, and
Transparency
, ACM Press, 2020: dl.acm.org/doi/proceedings/10.1145/3351
095.
Yuan, Li, «How Cheap Labor Drives China’s A.I. Ambitions»,
The New York
Times
, 25novembre2018: www.nytimes.com/2018/11/25/business/china-a
rtificial-intelligence-labeling.html.
YCharts, «Amazon.com Market Cap», Amazon.com Inc (AMZN): ycharts.co
m/companies/AMZN/market_cap.
Zhang, Zhimeng,
et al., «
Multi-Target, Multi-Camera Tracking by
Hierarchical Clustering: Recent Progress on DukeMTMC Project»,
arXiv
:
1712.09531[cs. CV]
, 27décembre2017: arxiv.org/abs/1712.09531.
Zuboff, Shoshana,
L’
Â
ge du capitalisme de surveillance
, trad. B. Fomentelli et
A.-S. Homassel, Zulma, 2020.
—, «Big Other: Surveillance Capitalism and the Prospects of an Information
Civilization»,
Journal of Information Technology
, vol. 30, no1, 2015, p.75-
89: doi.org/10.1057/jit.2015.5.
Index
Abraham, David, 50;
The Elements of Power
, 284note31
abstraction, 30, 251, 261
Affectiva, 183-184, 198
Afrique du Sud, classification raciale, 172-173
Agre, Phil, 240
Agricola, Georgius, 38
AI Now, 278-279, 285note50
Albemarle Corporation, 41
Aleksander, Igor, 195
Alexa, 57, 72
algorithmes d’ordonnancement, 91-92
Alibaba, 58, 217
Allende, Salvador, 189
AlphaGo Zero, 246, 249
Amazon, Alexa, 57, 72;
biais dans les algorithmes, 153-155;
chaîne d’approvisionnement, 50;
empreinte carbone, 55, 56-57;
exploitation de la main-d’œuvre, 67-70, 100-104, 254;
Mechanical Turk, 79-80, 83-84, 129, 170, 253;
mouvements de protestation des salariés, 102-103;
pouvoir d’État, 217;
reconnaissance des affects, 184, 206;
Ring (caméras), 213, 233-234;
surveillance, 233-234;
Amazon Web Services, 266
American Psychiatric Association, 165
Ananny, Mike, 23
Andrejevic, Mark, 24, 310note 25
Anduril Industries, 304note38
API Face (Microsoft), 184
Apple, biais dans les algorithmes, 152;
chaîne d’approvisionnement, 47, 50;
empreinte carbone, 56-5-8;
reconnaissance des affects, 183
architectures de données, 54
Argentine, études sur la reconnaissance des émotions, 190
Aristote, 191
ARPA (Advanced Research Projects Agency), 188-190, 196, 214
Australie, exploitation du lithium, 45
Babbage, Charles, 71, 85-88, 288note36
Babich, Babette, 256
Bahl, Lalit, 119, 121
Baidu, 178
Bailey, F. G., 247-248
Baotou (Mongolie), terres rares, 49-50
Barrett, Lisa Feldman, 201, 204, 205-206
Bartlett, Marian, 196
Belkhir, Lotfi, 56
Bell, Derrick, 263
Benjamin, Ruha, 24, 153, 263
Bentham, Jeremy, 76
Bentham, Samuel, 71, 75-77
Bertillon, Alphonse, 109
Bezos, Jeff, 84, 265-268, 271-272
biais, algorithmes de classification, 152-155, 159-161;
cognitif, 160;
définitions, 159-161;
genre, 152, 154, 157, 164-165, 257;
limites des systèmes débiaisants, 156-158;
racial, 171-175, 207, 229-230, 257;
statistique, 161
Biddle, Wayne, 310note27
biométrie, 108, 142
Birdwhistell, Ray, 190-191
Blair (Nevada), 65-66
Bledsoe, Woody, 23
Blue Origin, 266, 268, 270-273
Bluffdale (Utah), consommation d’eau du centre de données de la NSA, 59-60
Bolivie, exploitation du lithium, 45
Borene, Andrew, 237
Borges, Jorge Luis, 163
boucle de rétroaction, 229
Bowker, Geoffrey, 24, 151-152, 165, 172-173, 176, 292note 52
Bratton, Benjamin, 24, 216, 241
Braverman, Harry, 89
Brayne, Sarah, 228-229, 305 note57
Brechin, Gray, 37-39
Brésil, études sur la reconnaissance des émotions, 190
Broussard, Meredith, 24, 281 note10, 307note6
Brown Corpus, 117, 162
Brown, Harold, 218
Brown, Peter, 119
Browne, Simone, 24, 158, 171-172
Buolamwini, Joy, 156
Burgess, Jean, 292note56
Bush, George W., 235
Bush, Vannevar, 118, 145
ByteDance, 217
câbles sous-marins, 52-53, 61, 64
CalGang (base de données), 139
Cambridge Analytica, 213
Campolo, Alex, 247
Carey, James, 98-99
Carter, Ash, 218-219
Catherine II de Russie, 77
centres de données, empreinte carbone, 55-56;
consommation d’électricité, 57-58;
consommation d’eau, 59
cérium, 46, 49-50
Cetina, Karin Knorr, 28, 155
chaîne de production de valeur, 87-88
Chan, Hau, 140
chartes éthiques de l’IA, 258-260
chemins de fer, coordination du temps, 97-98
Chernan (entreprise), 50
Chili, études sur la reconnaissance des émotions, 190
China Rare Earth (entreprise), 50
Chine, collecte de données et surveillance, 215;
développement de l’IA, 217;
extraction de minéraux de terres rares, 49-50;
pouvoir d’État, 257-258
Chun, Wendy, 24, 217
Church, Frank, 189
CIA (Central Intelligence Agency), Palantir, 225-226;
pouvoir d’État, 235-236, 257-258;
reconnaissance des affects, 199
Citizen (appli), 233
classification des données, 28-29, 147-178;
biais, 152-155, 159-161, 171-175;
ensembles d’entraînement, 162-166;
erreurs de généralisation, 159-160;
genre, 152, 154, 164, 171-175;
ImageNet, 162-166, 178;
limites de la mesure, 175-178;
limites des systèmes débiaisants, 156-158;
pouvoir de définir la «personne» 166-171;
race, 171-175;
sous-apprentissage et sur-apprentissage, 160;
systèmes de logique circulaire, 152-156;
variance, 159-160
Clickworker, 79
climat, justice, 262-263;
voir aussi
impacts environnementaux
cloud, empreinte carbone, 55-56
Club de Rome, 309note17;
Rapport sur les limites de la croissance
, 268
CMA CGM (transport maritime), 61
cobalt, 46
Cohen, Julie, 24
Cohn, Jeffrey, 196
Cohn-Kanade (ensemble de données CK), 196-198
colonialisme, 52, 150, 270;
données, 293note58
colonisation de l’espace, 265-271
Comité de protection des personnes (CPP), 131, 138
COMPAS (logiciel d’évaluation du risque criminel), 152
comportementalisme, 185
Congo, exploitation du lithium, 45,
exploitation minière, 47
consentement, extraction de données130-133
Consumer Technology Association, 44
Coole, Diana, 286note67
coordination du temps, main-d’œuvre, 27-28, 70, 90-100;
besoin, 67-70;
privatisation, 94-100;
chemins de fer, 97-98;
télégraphe, 98-99
Cortana, 72
Costanza-Chock, Sasha, 24
couche logistique de l’IA, 60-63
Couldry, Nick, 293note58
craniométrie, 149-150
crédit scoring (évaluation des risques), 237-240
crédit social, 237-240
criminalité, base de données sur les gangs, 139-140
crowdsourcing
, 79-80, 83-84, 85
DARPA (Defense Advanced Research Projects Agency), 214-215
Darwin, Charles, 186, 193,
L’Expression des émotions chez l’homme et les animaux
, 187, 194
Daston, Lorraine, 21, 24
Daugherty, James Monroe, 272
déchets électroniques, 44
DeepMind, 57, 143, 246
Dell, 48
démocratisation, 258-259
Département de la Défense (États-Unis), extraction de données, 124;
Palantir, 225;
Projet Maven, 220-223;
pouvoir d’État, 219, 220;
reconnaissance des affects, 197, 205
Département de la Santé et des Services sociaux (États-Unis), 226
Département de la Sécurité intérieure (États-Unis), 227
Desai, Bhairavi, 104
déterminisme enchanté, 247-248
Diamandis, Peter, 267
Dick, Philip K., 309note20
Didi-Huberman, Georges, 21
discrimination,
voir
biais
Diversity in Faces (ensemble de données d’entraînement DiF), 156-158, 178
division du travail, 75, 86, 89, 90
Dodd-Frank Act (2010), 46-47
Domino’s Pizza, 93-94
données vocales, collecte, 143
Douglass, Frederick, 177-178
Dreyfus, Hubert,
Intelligence artificielle. Mythes et limites
, 16
drone (frappe), 235-236
Duchenne de Boulogne, 192-195
;
Mécanisme de la physionomie humaine
, 187, 193
Duke University, 131
dysprosium, 46, 50
dystopie et utopie, perspectives, 248-249
eau, consommation, 59-60, 252
Eco, Umberto, 177
Edwards, Paul,
Un monde clos
, 214
effet de boucle (
looping effect
), 165
effet expérimentateur, 1-3
efficacité (main-d’œuvre), 67-68, 70, 86-88, 94, 246
Eisenhower, Dwight, 303note 23
Ekman, Paul, 29, 179-181, 185-191, 194-196, 199
ELIZA, 15
Elmeligi, Ahmed, 56
Emotient (start-up), 183, 196
empreintes digitales, reconnaissance automatique, 108, 290 note3
énergies renouvelables, 56
Enron (entreprise), 122-123
impacts environnementaux, câbles sous-marins, 52-53, 61, 64;
centres de données, 55-60;
consommation d’eau, 59-60;
déchets électroniques, 44;
exploitation de l’argent, 37;
exploitation de l’or, 37-39, 47;
exploitation du lithium, 37, 40-49, 66;
industrie extractive du latex, 52-53;
minéraux de terres rares, 45-46;
porte-conteneurs, 61-62;
véhicules électriques, 42
épidermalisation numérique, 158
Epstein, Jeffrey, 281note10
erbium, 46
esclavage, 15, 47, 77, 148-149, 150, 175
étain, 47, 50-51
Eubanks, Virginia, 24;
Automating Inequality
, 238
Euclid (start-up), 93
europium, 46
évaluation algorithmique, apprentissage et classification, 115;
classification de la criminalité, 139;
collaboration, 72;
main-d’œuvre, 70-71
exploitation de la main-d’œuvre, 44-45, 71-73, 78, 82-89, 100, 104, 254
Extended Cohn-Kanade (ensemble de données CK+), 198
extraction des données, 28, 107-145, 255;
biométrie, 108, 142;
consentement, 130-133;
données vocales, 143;
entraînement des machines à voir, 114-117;
évaluation algorithmique, 115, 138-139;
exploitation des données, 43, 135; 109-110, 124-126;
histoire de la demande, 118-124;
Internet, 126-128, 142-145;
mythes et métaphores, 133-137;
photos d’identité judiciaire (bases de données), 107-112;
vie privée, 142-144;
reconnaissance faciale (algorithmes), 109-110, 124-126;
reconnaissance vocale, 119-121;
pouvoir d’État, 240-243
extraction minière, besoins de l’IA, 45-49;
chaînes d’approvisionnement, 47-48;
conflits, 47-48;
coût réel, 38, 49-54;
mythe de la tech propre, 55-60;
voir aussi
industries extractives
Facebook, algorithmes de classification, 178;
assistant personnel M, 81;
biais dans les algorithmes, 152;
pouvoir d’État, 217
Face Recognition Technology (FERET), 124-126, 197
Facial Action Coding System (FACS), 195-199
Facial Action Scoring Technique (FAST), 194-195
Facial Recognition Verification Testing, 111
FALCON (appli), 227
fauxtomation, 81-83
FBI (Federal Bureau of Investigation), extraction des données, 108, 143;
identification des empreintes digitales, 290note3;
Palantir, 225;
reconnaissance des affects, 199
Federal Energy Regulatory Commission, 122
Federici, Silvia, 72
FERET (Face Recognition Technology), 124-126, 197
Ferguson, Andrew, 228
Fernández-Dols, José-Miguel, 201
Figure Eight, 79
Financial Times
, ensemble de données et reconnaissance faciale, 292note46;
reconnaissance des affets, 182
Five Eyes (alliance internationale), 212, 302note2
Flickr, 128, 143, 156, 182
forces de l’ordre,
voir
police
Ford, Henry, 71, 90, 93, 99
Fore d’Okapa (Papouasie-Nouvelle-Guinée), 179-180, 191
Foucault, Michel, 289note66;
Surveiller et punir
, 76
Fourcade, Marion, 134, 136, 238
FoxAcid (programme), 213, 233, 302note5
Foxconn, 50, 91, 253
Franklin, Ursula, 21, 33
fraude, détection, 125
Friesen, Wallace, 195
Frost, Samantha, 286note67
gadolinium, 46
Gajdusek, D. Carleton, 179-80
Galison, Peter, 24, 97
Gall, Franz Joseph, 192
Galton, Francis, 54, 109
GAO (Government Accountability Office), 200
Garwin, Dick, 121
Gebru, Timnit, 156
genre, biais dans les algorithmes de classification, 152, 154, 164-165, 257;
constructions des classifications, 171-175;
reconnaissance des affects, 206
Gendron, Maria, 201
erreurs de généralisation, 159-160
General Motors, 95
George, Rose, 61
germanium, 46
Gibson, Jennifer, 236
Gillespie, Tarleton, 24, 79
Gitelman, Lisa, 134-135
Github, 96
Goldman Sachs, 183
Google, algorithmes de classification, 178;
centres de données, 249-250;
DeepMind, 57, 143, 246;
empreinte carbone, 58;
Images, 128, 143;
Principes d’Intelligence Artificielle, 222;
Projet Maven, 221-222;
ReCAPTCHA, 85;
Spanner, 96-97
Google Street View, 254
Gou, Terry, 91
Gould, Stephen Jay,
La Mal-Mesure de l’homme
, 149
Government Accountability Office (GAO), 200
Government Communication Headquarters (GCHQ, Royaume-Uni), 211-
212, 215
Graeber, David,
Bureaucratie
, 287note4
Gray, Mary, 78
Greene, Dan, 290note75
Greenpeace, 58
Gregg, Melissa, 72
guerre algorithmique (Projet Maven), 220-223
gutta-percha, 52-53
Hacking, Ian, 24, 165, 175
Hall, Stuart, 24
Halliburton, 224
handicap, 151, 174-175, 301 note89
Hans le Malin, 11-14, 17
Haraway, Donna, 173, 262
Hardt, Michael, 251
Harvey, Adam, 131
Haskins, Caroline, 234
Hassabis, Demis, 246
Hayden, Michael, 235-236
Healy, Kieran, 134, 136, 238
Hicks, Mar, 24, 118-119
Hines, Alicia Headlam, 33
Hird, Myra, 50
HireVue, 182-183
Hodal, Kate, 51
Hoffman, Anna Lauren, 135, 140
holmium, 46
Hopper, Grace, 16
Hough, Lee, 189
Hu, Tung-Hui, 24, 217, 234;
A Prehistory of the Cloud
, 55
Huawei, 217
Huet, Ellen, 80-81
Hui, Yuk, 24
Human (start-up), 182
Hwang, Tim, 292-293note56
IARPA (Intelligence Advanced Research Projects Activity), 100
IBM, reconnaissance des affects, 184, 206;
reconnaissance vocale, 119-121;
Diversity in Faces (ensemble de données d’entraînement DiF), 156-158,
178;
pouvoir politique et ciblage, 236-237
ImageNet, catégories de «personne», 166-171;
classification des données, 162-166, 178;
ensembles d’entraînement, 116-117, 128-130, 255;
objectifs, 22
ImageNet Roulette, 168, 296 note52
Immigration and Customs Enforcement (ICE), 226, 227, 232
Indonésie, exploitation du lithium, 45;
exploitation minière, 50-51
industries extractives, collecte de données, 107-145;
or, 37-39, 47;
IA, 26, 251;
main-d’œuvre, 78-85;
latex, 52-53;
lithium, 26, 37, 40-49, 66;
argent, 37;
voir aussi
extraction de données; extraction minière
industrie de la viande, 88-92
inférence inductive, 116, 159
inférence déductive, 116
In-Q-Tel, 225
Intel, 47-48, 183
intelligence artificielle (IA), affinement des connaissances, 18;
conception de l’atlas, 20-25;
couche logistique, 60-63;
définition, 17-20;
exploitation minière, 26-27;
extraction des données, 28;
industrie extractive, 26, 251;
main-d’œuvre, 26-27;
mégamachine, 63-66;
mythologies de l’intelligence, 15;
pouvoir d’État, 29-30;
structure du pouvoir, 19-20, 30;
topographies computationnelles, 25-30;
utilisation des données, 28-29
Intelligence Community Comprehensive National Cybersecurity Initiative
Data Center (Utah), 59
Irani, Lilly, 78-79
Israël, collecte de données et surveillance, 215
Japon, études sur la reconnaissance des émotions, 190
Jelinek, Fred, 119
JEDI (Joint Enterprise Defense Infrastructure), 220, 222, 304note36
justice, classification des données, 175-177;
climatique, 262-263;
extraction de données, 112-113, 140;
IA, 32-33;
mouvements connectés, 258-263;
objectif, 65, 258-263
justice pénale,
voir
police
Kahneman, Daniel, 160
Kanade, Takeo, 196
Kappas, Arvid, 203
Karolinska Directed Emotional Faces, 198
Karp, Alex, 225
Kemeny, John, 95
Keyes, Os, 165
Kroc, Ray, 92
Kurdi, Aylan, 236
Kurtz, Thomas, 95
Labban, Mazen, 64
Lakoff, George, 166
lanthane, 46
LaPlace, Jules, 131
latex, industrie extractive, 52-53
Lavater, Johann Kaspar,
Essai sur la physiognomonie
, 192
Lawrence Livermore National Laboratory, 36
Lehrer, Tom, 140
Lem, Stanislaw, 121
Levy, Karen, 292 n. 56-293,
note56
Leys, Ruth, 298note25;
The Ascent of Affect
, 201-202
LG, 50
Li, Fei-Fei, 22, 128-129, 221
Li, Xiaochang, 120-121
Licklider, J. C. R., 16
Lie to Me
(série télévisée), 199
Lievrouw, Leah, 286note67
Light, Jennifer, 118-119
lithium, exploitation, 26, 37, 40-49, 66
Lockheed Martin, 35, 224, 225
Lombroso, Cesare, 192
Los Angeles, police, 139, 228-230
Luckey, Palmer, 304note38
lutétium, 46
machinerie épistémique, 28, 155
MacKenzie, Donald, 24
Maersk, 61
main-d’œuvre, 27-28, 67-105;
algorithmes d’ordonnancement, 91-92;
automatisation du lieu de travail, 85-88;
coordination du temps, 27-28, 70, 90-100;
crowdsourcing
, 79-80, 83-84, 85;
division du travail, 75, 86, 89, 90;
efficacité, 67-68, 70, 86-88, 94, 246;
évaluation algorithmique, 70-71;
exploitation, 44-45, 71-73, 78, 82-89, 100, 104, 254;
IA Potemkine et Turcs mécaniques, 78-85;
industrie de la viande, 88-92;
mécanisation, 73-74;
préhistoires de l’IA sur le lieu de travail, 71-78;
surveillance et contrôle, 70, 75, 86, 92-94, 254
Malaisie, industrie extractive du latex, 52-53
Manhattan Project, 63, 118
Manuel diagnostique et statistique des troubles mentaux
(American Psychiatric
Association), 164-165
Manufacturing Automation Protocol (MAP), 94-95
mappa mundi
, 25
Marshall Space Flight Center, 271-272
Marx, Karl, 74, 90, 287note6
matérialité, 30, 251, 286note67
Mattern, Shannon, 23, 259
Maughan, Tim, 49
maximalisme computationnel, 57
Mayhew, Clare, 92-93
Mbembe, Achille, 24, 215-216, 261, 263
McCarthy, John, 16, 95
McDonald’s, 91-93
McLuhan, Marshall, 43
McNamara, Robert, 303note23
Mead, Margaret, 200-201, 205
Mechanical Turk (Amazon), 79-80, 83-84, 129, 170, 253
Meat Inspection Act (1906), 89
Medicare, détection des fraudes, 195
Mediterranean Shipping Company (Suisse), 61
Mejías, Ulises, 293note58
Mercer, Robert, 119-121, 133-134
métadonnées, 215
Mezzadra, Sandro, 284note21
Michalski, Ryszard, 290-291 note16
Michie, Donald, 18
micro-expressions, 183, 194
microphysique du pouvoir, 254, 289note66
Microsoft, centres de données, 55;
empreinte carbone, 58;
MS-Celeb, 131-132, 255;
reconnaissance des affects, 184;
reconnaissance faciale, 292note46;
Projet Maven, 222, 304note36
Microworkers, 79
MiDAS (Michigan Integrated Data Automated System), 239
minéraux de conflit, 47-48
minéraux de terres rares, 45-46, 252, 284note31
Minsky, Marvin, 15-16, 281 note10
Mirzoeff, Nicholas,
The Right to Look
, 77
MIT (Massachusetts Institute of Technology), «Le management et l’ordinateur
du futur», 16;
Media Lab, 198;
reconnaissance des affects, 183, 198
Moffett (aéroport de la NASA), 35
Mongolie, exploitation du lithium, 40;
minéraux de terres rares, 49-50
Morozov, Evgeny, 132
Morton, Samuel, 147-151
MS-Celeb (base de données), 131-132, 255
Multiple Encounter Dataset, 107-110
Mumford, Lewis, 46, 63
Muse, Abdi, 101-103
Musk, Elon, 41, 267
mythe de la tech propre, 55-60
National Health Service (NHS, Grande-Bretagne), 143
National Science Foundation, 118, 131, 197
nécropolitique, 215-216
Negri, Antonio, 251
Neighbors (appli), 233-234
Neilson, Brett, 284note21
Nelson, Alondra, 24, 33
néodyme, 46, 49-50
Network Time Protocol (NTP), 95
Neville-Neil, George V., 307 note6
Newell, Allen, 16
Newton, Isaac, 97
New York City Taxi and Limousine Commission, 132
New York Taxi Workers Alliance, 104
New York Times
, Hans le Malin, 11;
Ekman, Paul, 199
Nextdoor (appli), 233
NGI (Next Generation Identification), 110
Nietzsche, Friedrich, 256-257
Nilsson, Nils, 133-134
NIST (National Institute of Standards and Technology), 107-111, 255,
290note3
Noble, Safiya Umoja, 24, 153
Norvig, Peter, 18, 22-23
NTP (Network Time Protocol), 95
NSA (National Security Agency), centre de données, 59-60;
frappe de drone et ciblage, 235-236;
Palantir, 228;
pouvoir d’État, 211-213, 215, 219, 242, 258;
Projet Maven, 221;
surveillance, 226
obsolescence (cycle), 44
Office of Naval Research (États-Unis), 162, 214
Organisation internationale du travail (OIT), 79
Omar, Ilhan Abdullahi, 206
O’Neill, Gerard K.,
Les Villes de l’espace
, 268-269
OpenAI, 57
or, exploitation, 37-39, 47
Page, Larry, 267
Paglen, Trevor, 168, 296note52
Palantir, 224-230, 258
panoptique, 76
Papouasie-Nouvelle-Guinée, 179-180, 191
Parikka, Jussi,
A Geology of Media
, 43
Pearson, Karl, 54
Penn Treebank Project, 122
Philips, 47-48
photos d’identité judiciaire, bases de données, 107-112
phrénologie, 147-149
physiognomonie, 191-196, 201-202
Picard, Rosalind, 183
Pittsburgh Silver Peak Gold Mining Company, 65-66
Planetary Resources, 267
Poitras, Laura, 132, 211, 306 note95
police, base de données sur les gangs, 139-140;
photos d’identité judiciaire bases de données, 107-112;
systèmes de reconnaissance des affects, 181-182, 170;
systèmes de reconnaissance faciale, 216-217;
systèmes de surveillance, 228-234
polygénisme, 148
porte-conteneurs, 61-62
Potemkine, prince, 75-77
Pouget, Émile, 99
pouvoir d’État, 29-30, 211-243, 257-258;
ciblage, 235-240;
extraction de données, 240-243;
développement externalisé de l’AI, 224-235;
IA comme arme de guerre, 216-219;
Projet Maven, 220-223;
Third Offset strategy, 216-219
praséodyme, 46
Precision Time Protocol (PTP), 95
Princeton, laboratoire de science cognitive, 162
Principes d’Intelligence Artificielle (Google), 222
programme anti-drogue (États-Unis), 124
Projet Maven, 220-223
prométhium, 46
psychanalyse, 185-186
PTP (Precision Time Protocol), 95
PT Timah (entreprise), 50
Puschmann, Cornelius, 292-293 note56
Python (langage de programmation), 96
Quinlan, Michael, 92
race, reconnaissance des affects, 206-207;
programmes de surveillance AI, 229-230;
algorithmes de classification, 171-175, 257;
justice raciale, 263
ReCAPTCHA, 85
reconnaissance automatique des plaques d’immatriculation (ALPR), 231-232
reconnaissance des affects, 29, 179-209, 256;
bases de données, 197-200;
biais (genre et race), 206-207;
critiques des théories d’Ekman, 200-206;
micro-expressions, 183, 194;
motivation, 186;
physiognomie et photographie, 191-196;
politique, 205-209;
recrutement, 182-183;
rentabilité, 181-185;
simulation, 197-202
reconnaissance faciale, algorithmes, 109-110, 124-126, 172-173, 232-233;
voir aussi
reconnaissance des affects
reconnaissance vocale, 119-121
réseaux TCP/IP, 95
Révolution industrielle, 73, 75
Ring (caméras), 213, 233-234
Roberts, Sarah, 79
Rockwood Holdings, 41
Russell, James, 201
Russell, Stuart, 18, 22
Russie, collecte de données et surveillance, 215
Ryge, Leif, 296 note52
Sadowski, Jathan, 136
Salisbury, Lord, 98
samarium, 46
Samsung, 41, 50
San Francisco, impact de l’extraction d’or, 37-39;
industrie tech, 35, 39;
sans-abri, 39; v
oir aussi
Silicon Valley
Saville, Samantha, 25
Scahill, Jeremy, 306note95
scandium, 46
Schaake, Marietje, 259
Schaffer, Simon, 87
Scharmen, Fred, 268
Schmidt, Eric, 222, 267
Schultz, Jason, 230
Secret Service (États-Unis), 199
Sedgwick, Eve Kosofsky, 298 note25
Sejnowski, Terry, 196
Sekula, Allan, 109
Shenmao (entreprise), 50
Silicon Valley, géographie, 35;
pouvoir d’État et développement de l’IA, 219;
coordination du temps, 94;
voir aussi
les entreprises tech spécifiques
argent, exploitation, 37
Silver Peak (Nevada), 36-45, 65-66, 283note10
Simon, Herbert, 16
Sinclair, Upton,
La Jungle
, 90
Siri, 57, 72
Smith, Adam, 86-87;
La Richesse des nations
, 73
Smith, Brad, 222, 304note36
Snowden, Edward (archives), 211-213, 215, 219, 226-227, 235, 240, 242,
306note95
Snyder, Rick, 238-239
Sony, 50
Sorenson, E. Richard, 179-180
Space Act (États-Unis, 2015), 270
SpaceX, 267, 270
SPOT (Screening of Passengers by Observation Techniques), 199-200
Sproull, Robert, 214
Spurzheim, Joseph Gaspar, 192
Stanford (université), 131, 189
Star, Susan Leigh, 24, 151-152, 165, 172, 176
Stark, Luke, 135, 173-174
Starosielski, Nicole, 53
Strubell, Emma, 56
structures du pouvoir, conception de l’atlas de l’IA, 21-22;
IA, 19-20, 30;
microphysique du pouvoir, 254, 289note 66;
voir aussi
pouvoir d’État
Suchman, Lucy, 24, 223, 257, 304note41
Suri, Sid, 78
surveillance, main-d’œuvre, 70, 75, 86, 92-94, 254;
pouvoir d’État, 227-230;
reconnaissance faciale (algorithmes), 110
Sutton, Rich, 57
Syrie, collecte de données et surveillance, 215;
crise des réfugiés, 236-238
systèmes experts (approche), 119-120
TALN (traitement automatique du langage naturel), 56-57
tantale, 47
Taylor, Astra, 24, 81, 88, 290 note75
Taylor, Frederick Winslow, 71, 90;
La Direction scientifique des entreprises
, 90
télégraphe, coordination du temps, 98-99
Teller, Edward, 36
Tempête du Désert (opération, 1991), 303note23
Tencent, 58, 217
TensorFlow (infrastructure d’IA), 221
terbium, 46, 50
terrorisme, 235-238
Tesla, consommation de lithium, 41-42;
chaîne d’approvisionnement, 50
The Dalles (Oregon), 249-250
Thiel, Peter, 224-225
Thompson, E. P., 75
thulium, 46
TikTok, 178, 182
Tomkins, Silvan, 185-188, 190, 203;
Affect Imagery Consciousness
, 185
Traité de l’Espace (1967), 270
traitement automatique du langage naturel (TALN), 56-57
transgenre, 157
transparence, 23-24
transport maritime, 61-62
travail,
voir
main-d’œuvre
travailleurs du savoir, 72
TreasureMap, 212-213, 233
TrueTime, 96-97
TSA (Transportation Security Administration), 199
Tu, Thuy Linh, 33
Tully, John, 52
tungstène, 47
Turc mécanique, 83
Turing, Alan, 15
Turner, H. W., 283note10
Tversky, Amos, 160
Uber, 104
Ullman, Ellen, 17
Unilever, 183
Université de Californie, San Diego, 183
Université du Colorado, 131
Université du Maryland, 177
Université de Pennsylvanie, 122
Université du Tennessee, 172
USA Freedom Act (2015), 219
U.S. Army Research Laboratory, 124, 131
U.S. Geological Survey, 45-46
UTKFace, 172-173, 178
utopie et dystopie, perspectives, 248-249
variance, classification de données, 159-160
véhicules électriques, impacts environnementaux, 42
vie privée, 142-144
Vigilant Solutions, 231-233
Von Braun, Wernher, 140, 265-266, 271-272, 310note27
Von Kempelen, Wolfgang, 83
Von Neumann, John, 15
Von Osten, Wilhelm, 11-14
Wajcman, Judy, 94
Walker, Kent, 223
Weigel, Moira, 225
Weizenbaum, Joseph, 15, 141-142
West, Cornel, 150
Western Union, 98
WeWork, 93
White Sands Missile Range, 271
Wiener, Norbert, 16
Wikipédia, 170
Winner, Langdon, 260-261
WISARD (système de reconnaissance d’objets), 195
WordNet, 117, 130, 162-163, 170
Work, Robert, 219
World Shipping Council, 62
x.ai (start-up d’assistants numériques), 80-81
XRVision Sentinel AI, 206
York, Jillian, 132
YouTube, 128, 143, 250
ytterbium, 46
yttrium, 46
Zuboff, Shoshana,
L’Âge du capitalisme de surveillance
, 132
C AT A L O G U E N U M É R I Q U E D E S É D I T I O N S
Z U L M A
Dernières parutions
ZULMA ESSAIS
Tout un monde d’idées
Collection initiée par Néhémy Pierre-Dahomey
SREĆKO HORVAT
La Poésie du futur
Manifeste pour un mouvement
de libération mondial
traduit de l’anglais
par Laurent Bury
PANKAJ MISHRA
L’Âge de la colère:
Une histoire du présent
traduit de l’anglais
par Dominique Vitalyos
TIMOTHY MORTON
La Pensée écologique
Être écologique
traduits de l’anglais
par Cécile Wajsbrot
MICHAEL SFARD
Le mur et la porte:
Israël, Palestine, 50ans de bataille
judiciaire pour les droits de l’homme
traduit de l’anglais
par Bee Formentelli
TIFFANY WATT SMITH
Le Dictionnaire des émotions:
Ou comment cultiver son intelligence émotionnelle
traduit de l’anglais
par Frederick Bronsen
SHOSHANA ZUBOFF
L’Âge du capitalisme de surveillance
traduit de l’anglais
par Bee Formentelli
et Anne-Sylvie Homassel
Littérature
ANJANA APPACHANA
L’Année des secrets
traduit de l’anglais (Inde)
par Catherine Richard
Le fantôme de la barsati
traduit de l’anglais (Inde)
par Alain Porte
BIBHOUTI BHOUSHAN BANERJI
De la forêt
traduit du bengali (Inde)
Par France Bhattacharya
ABDELAZIZ BARAKA SAKIN
Le Messie du Darfour
Les Jango
traduits de l’arabe (Soudan)
par Xavier Luffin
VANESSA BARBARA
Les Nuits de laitue
traduit du portugais (Brésil)
par Dominique Nédellec
BENNY BARBASH
Little Big Bang
Monsieur Sapiro
My First Sony
traduits de l’hébreu
par Dominique Rotermund
La vie en cinquante minutes
traduit de l’hébreu
par Rosie Pinhas-Delpuech
VAIKOM MUHAMMAD BASHEER
Grand-père avait un éléphant
La Lettre d’amour
traduits du malayalam (Inde)
par Dominique Vitalyos
BERGSVEINN BIRGISSON
La Lettre à Helga
traduit de l’islandais
par Catherine Eyjólfsson
SOFFÍA BJARNADÓTTIR
J’ai toujours ton cœur avec moi
traduit de l’islandais
par Jean-Christophe Salaün
JEAN-MARIE BLAS DE ROBLÈS
Ce qu’ici-bas nous sommes
Dans l’épaisseur de la chair
Là où les tigres sont chez eux
L’Échiquier de Saint-Louis
L’Île du Point Némo
Le Rituel des dunes
GERD BRANTENBERG
Les Filles d’Égalie
traduit du norvégien
par Jean-Baptiste Coursaud
GEORGES-OLIVIER CHÂTEAUREYNAUD
Zinzolins et nacarats
CHANTAL CREUSOT
Mai en automne
RENÉ DEPESTRE
Popa Singer
BOUBACAR BORIS DIOP
Murambi, le livre des ossements
EUN HEE-KYUNG
Les Beaux Amants
traduit du coréen
par Lee Hye-young et Pierrick Micottis
PASCAL GARNIER
Cartons
Comment va la douleur?
Le Grand Loin
Les Hauts du Bas
Lune captive dans un œil mort
La Place du mort
La Solution Esquimau
La Théorie du panda
Trop près du bord
EINAR MÁR GUÐMUNDSSON
Les Rois d’Islande
Un été norvégien
traduits de l’islandais
par Éric Boury
GUNNAR GUNNARSSON
Le Berger de l’Avent
traduit de l’islandais
par Gérard Lemarquis et María S. Gunnarsdóttir
HUBERT HADDAD
Casting sauvage
La Cène
Corps désirable
Géométrie d’un rêve
Mā
Meurtre sur l’île des marins fidèles
Opium Poppy
Palestine
Le Peintre d’éventail
Premières neiges sur Pondichéry
La Sirène d’Isé
Théorie de la vilaine petite fille
Un rêve de glace
L’Univers
Un monstre et un chaos
ALYSON HAGY
Les Sœurs de Blackwater
traduit de l’anglais (États-Unis)
par David Fauquemberg
HAN KANG
Les Chiens au soleil couchant
traduit du coréen sous la direction
de Choi Mikyung et Jean-Noël Juttet
ZORA NEALE HURSTON
Mais leurs yeux dardaient sur Dieu
traduit de l’anglais (États-Unis)
par Sika Fakambi
HWANG SOK-YONG
Shim Chong, fille vendue
traduit du coréen
par Choi Mikyung et Jean-Noël Juttet
SHIH-LI KOW
La Somme de nos folies
traduit de l’anglais (Malaisie)
par Frédéric Grellier
KOFFI KWAHULÉ
Nouvel an chinois
GERT LEDIG
Sous les bombes
traduit de l’allemand
par Cécile Wajsbrot
LEE SEUNG-U
La vie rêvée des plantes
traduit du coréen
par Choi Mikyung et Jean-Noël Juttet
ANDRI SNAER MAGNASON
LoveStar
traduit de l’islandais
par Eric Boury
MARCUS MALTE
Aires
Le Garçon
Garden of love
Musher
La Part des chiens
PABLO MARTÍN SÁNCHEZ
L’anarchiste qui s’appelait comme moi
traduit de l’espagnol
par Jean-Marie Saint-Lu
MEDORUMA SHUN
Les Pleurs du vent
traduit du japonais
par Corinne Quentin
KEI MILLER
L’authentique Pearline Portious
traduit de l’anglais (Jamaïque)
par Nathalie Carré
DANIEL MORVAN
Lucia Antonia, funambule
R.K. NARAYAN
Le Guide et la Danseuse
traduit de l’anglais (Inde)
par Anne-Cécile Padoux
Le Magicien de la finance
traduit de l’anglais (Inde)
par Dominique Vitalyos
AUÐUR AVA ÓLAFSDÓTTIR
L’Embellie
L’Exception
Ör
Rosa candida
Le rouge vif de la rhubarbe
traduits de l’islandais
par Catherine Eyjólfsson
Miss Islande
La vérité sur la lumière
traduits de l’islandais
par Éric Boury
MAKENZY ORCEL
L’Ombre animale
NII AYIKWEI PARKES
Notre quelque part
traduit de l’anglais (Ghana)
par Sika Fakambi
EDUARDO ANTONIO PARRA
El Edén
traduit de l’espagnol (Mexique)
par François-Michel Durazzo
GORAN PETROVIĆ
Soixante-neuf tiroirs
traduit du serbe
par Gojko Lukić
RICARDO PIGLIA
Argent brûlé
traduit de l’espagnol (Argentine)
par François-Michel Durazzo
ZOYÂ PIRZÂD
L’Appartement
C’est moi qui éteins les lumières
On s’y fera
Un jour avant Pâques
traduits du persan (Iran)
par Christophe Balaÿ
RĂZVAN RĂDULESCU
Théodose le Petit
La Vie et les Agissements d’Ilie Cazane
traduits du roumain
par Philippe Loubière
JOCA REINERS TERRON
La Mort et le Météore
Traduit du portugais (Brésil)
par Dominique Nédellec
JOACHIM SCHNERF
Cette nuit
ENRIQUE SERPA
Contrebande
traduit de l’espagnol (Cuba)
par Claude Fell
RABINDRANATH TAGORE
Chârulatâ
Kumudini
Quatre chapitres
traduits du bengali (Inde)
par France Bhattacharya
Marcel THEROUX
Au nord du monde
traduit de l’anglais
par Stéphane Roques
INGRID THOBOIS
Sollicciano
PRAMOEDYA ANANTA TOER
Le Monde des hommes
–
Buru Quartet I
Enfant de toutes les nations
–
Buru Quartet II
Une empreinte sur la terre
–
Buru Quartet III
La Maison de verre
–
Buru Quartet IV
traduits de l’indonésien
par Dominique Vitalyos
DAVID TOSCANA
L’Armée illuminée
El último lector
Un train pour Tula
traduits de l’espagnol (Mexique)
par François-Michel Durazzo
ROSA MARIA UNDA SOUKI
Ce que Frida m’a donné
traduit de l’espagnol (Venezuela)
par Margot Nguyen Béraud et l’auteure
LAURENCE VILAINE
La Géante
ABDOURAHMAN A. WABERI
La Divine Chanson
BENJAMIN WOOD
Le Complexe d’Eden Bellwether
traduit de l’anglais (Royaume-Uni)
par Renaud Morin
ZHANG YUERAN
Le Clou
traduit du chinois
par Dominique Magny-Roux
L’Hôtel du Cygne
traduit du chinois
par Lucie Modde
Les Kâma-sûtra
suivis de
l’Anangaranga
traduit du sanskrit par Jean Papin
Apulée #1–Galaxies identitaires
revue de littérature et de réflexion
Si vous désirez en savoir davantage sur le catalogue numérique des éditions
Zulma n’hésitez pas à vous rendre sur
notre site
.
C AT A L O G U E D E S É D I T I O N S Z U L M A
Dernières parutions
ZULMA ESSAIS
Tout un monde d’idées
Collection initiée par Néhémy Pierre-Dahomey
SREĆKO HORVAT
La Poésie du futur
Manifeste pour un mouvement
de libération mondial
traduit de l’anglais
par Laurent Bury
PANKAJ MISHRA
L’Âge de la colère
Une histoire du présent
traduit de l’anglais
par Dominique Vitalyos
TIMOTHY MORTON
La Pensée écologique
Être écologique
traduits de l’anglais
par Cécile Wajsbrot
MICHAEL SFARD
Le mur et la porte
Israël, Palestine, 50ans de bataille
judiciaire pour les droits de l’homme
traduit de l’anglais
par Bee Formentelli
TIFFANY WATT SMITH
Le Dictionnaire des émotions:
Ou comment cultiver son intelligence émotionnelle
traduit de l’anglais
par Frederick Bronsen
SHOSHANA ZUBOFF
L’Âge du capitalisme de surveillance
traduit de l’anglais
par Bee Formentelli
et Anne-Sylvie Homassel
Littérature
JACQUES STEPHEN ALEXIS
L’étoile Absinthe
AMBAI
De haute lutte
traduit du tamoul (Inde)
par Dominique Vitalyos et Krishna Nagarathinam
BIBHOUTI BHOUSHAN BANERJI
De la forêt
traduit du bengali (Inde)
Par France Bhattacharya
ABDELAZIZ BARAKA SAKIN
Les Jango
Le Messie du Darfour
traduit de l’arabe (Soudan)
par Xavier Luffin
VANESSA BARBARA
Les Nuits de laitue
traduit du portugais (Brésil)
par Dominique Nédellec
BENNY BARBASH
Little Big Bang
Monsieur Sapiro
My First Sony
traduits de l’hébreu
par Dominique Rotermund
La vie en cinquante minutes
traduit de l’hébreu
par Rosie Pinhas-Delpuech
A. IGONI BARRETT
Love is Power, ou quelque chose comme ça
traduit de l’anglais (Nigéria)
par Sika Fakambi
VAIKOM MUHAMMAD BASHEER
Grand-père avait un éléphant
Les Murs et autres histoires (d’amour)
Le Talisman
traduits du malayalam (Inde)
par Dominique Vitalyos
DOMINIQUE BATRAVILLE
L’Ange de charbon
BERGSVEINN BIRGISSON
La Lettre à Helga
traduit de l’islandais
par Catherine Eyjólfsson
SOFFÍA BJARNADÓTTIR
J’ai toujours ton cœur avec moi
traduit de l’islandais
par Jean-Christophe Salaün
JEAN-MARIE BLAS DE ROBLÈS
Ce qu’ici-bas nous sommes
Dans l’épaisseur de la chair
La Mémoire de riz
La Montagne de minuit
Là où les tigres sont chez eux
L’Île du Point Némo
Le Rituel des dunes
GERD BRANTENBERG
Les Filles d’Égalie
traduit du norvégien
par Jean-Baptiste Coursaud
EILEEN CHANG
Deux brûle-parfums
Love in a Fallen City
traduits du chinois
par Emmanuelle Péchenart
CHANTAL CREUSOT
Mai en automne
RENÉ DEPESTRE
Popa Singer
BOUBACAR BORIS DIOP
Murambi, le livre des ossements
PASCAL GARNIER
L’A26
Cartons
Comment va la douleur?
Le Grand Loin
Les Hauts du Bas
Les Insulaires et autres romans (noirs)
Lune captive dans un œil mort
Nul n’est à l’abri du succès
La Solution Esquimau
La Théorie du panda
EINAR MÁR GUÐMUNDSSON
Les Rois d’Islande
Un été norvégien
traduit de l’islandais
par Éric Boury
GUNNAR GUNNARSSON
Le Berger de l’Avent
traduit de l’islandais
par Gérard Lemarquis et María S. Gunnarsdóttir
HUBERT HADDAD
Casting sauvage
La Cène
La Condition magique
Corps désirable
Géométrie d’un rêve
Les Haïkus du peintre d’éventail
Mā
Le Nouveau Magasin d’écriture
Le Nouveau Nouveau Magasin d’écriture
Nouvelles du jour et de la nuit
Oholiba des songes
Opium Poppy
Palestine
Le Peintre d’éventail
Premières neiges sur Pondichéry
La Sirène d’Isé
Théorie de la vilaine petite fille
Un rêve de glace
L’Univers
Un monstre et un chaos
Vent printanier
ALYSON HAGY
Les Sœurs de Blackwater
traduit de l’anglais (États-Unis)
par David Fauquemberg
ZORA NEALE HURSTON
Mais leurs yeux dardaient sur Dieu
traduit de l’anglais (États-Unis)
par Sika Fakambi
HWANG SOK-YONG
Le Vieux Jardin
traduit du coréen
par Jeong Eun-Jin et Jacques Batilliot
Monsieur Han
Shim Chong, fille vendue
traduits du coréen
par Choi Mikyung et Jean-Noël Juttet
YITSKHOK KATZENELSON
Le Chant du peuple juif assassiné
traduit du yiddish
par Batia Baum et présenté par Rachel Ertel
SHIH-LI KOW
La Somme de nos folies
traduit de l’anglais (Malaisie)
par Frédéric Grellier
KOFFI KWAHULÉ
Nouvel an chinois
ANDRI SNAER MAGNASON
LoveStar
traduit de l’islandais
par Éric Boury
MARCUS MALTE
Aires
Fannie et Freddie
Le Garçon
Garden of love
Intérieur nord
La Part des chiens
Toute la nuit devant nous
PABLO MARTÍN SÁNCHEZ
L’anarchiste qui s’appelait comme moi
traduit de l’espagnol
par Jean-Marie Saint-Lu
MEDORUMA SHUN
L’âme de Kôtarô contemplait la mer
traduit du japonais par Myriam Dartois-Ako,
Véronique Perrin et Corinne Quentin
Les Pleurs du vent
traduit du japonais
par Corinne Quentin
KEI MILLER
L’authentique Pearline Portious
By the rivers of Babylon
traduits de l’anglais (Jamaïque)
par Nathalie Carré
DANIEL MORVAN
Lucia Antonia, funambule
R. K. NARAYAN
Le Guide et la Danseuse
Dans la chambre obscure
traduits de l’anglais (Inde)
par Anne-Cécile Padoux
Le Magicien de la finance
traduit de l’anglais (Inde)
par Dominique Vitalyos
JAMES NOËL
Belle merveille
AUÐUR AVA ÓLAFSDÓTTIR
Rosa candida
L’Embellie
L’Exception
Le rouge vif de la rhubarbe
Ör
traduits de l’islandais
par Catherine Eyjólfsson
Miss Islande
La vérité sur la lumière
traduits de l’islandais
par Éric Boury
MAKENZY ORCEL
Les Immortelles
L’Ombre animale
Maître-Minuit
MIQUEL DE PALOL
Le Jardin des Sept Crépuscules
Le Testament d’Alceste
traduits du catalan
par François-Michel Durazzo
NII AYIKWEI PARKES
Notre quelque part
traduit de l’anglais (Ghana)
par Sika Fakambi
EDUARDO ANTONIO PARRA
El Edén
traduit de l’espagnol (Mexique)
par François-Michel Durazzo
GORAN PETROVIĆ
Soixante-neuf tiroirs
traduit du serbe
par Gojko Lukić
SERGE PEY
La Boîte aux lettres du cimetière
Le Trésor de la guerre d’Espagne
RICARDO PIGLIA
Argent brûlé
La Ville absente
traduits de l’espagnol (Argentine)
par François-Michel Durazzo
ZOYÂ PIRZÂD
C’est moi qui éteins les lumières
Comme tous les après-midi
Le Goût âpre des kakis
Un jour avant Pâques
On s’y fera
traduits du persan (Iran)
par Christophe Balaÿ
RĂZVAN RĂDULESCU
Théodose le Petit
La Vie et les Agissements d’Ilie Cazane
traduits du roumain
par Philippe Loubière
JOCA REINERS TERRON
La Mort et le Météore
Traduit du portugais (Brésil)
par Dominique Nédellec
MAYRA SANTOS-FEBRES
Sirena Selena
La Maîtresse de Carlos Gardel
traduits de l’espagnol (Porto Rico)
par François-Michel Durazzo
JOACHIM SCHNERF
Cette nuit
ENRIQUE SERPA
Contrebande
traduit de l’espagnol (Cuba)
par Claude Fell
RABINDRANATH TAGORE
Chârulatâ
Quatre chapitres
Kumudini
traduits du bengali (Inde)
par France Bhattacharya
Kabuliwallah
traduit du bengali (Inde)
par Bee Formentelli
Marcel THEROUX
Au nord du monde
traduit de l’anglais
par Stéphane Roques
INGRID THOBOIS
Sollicciano
PRAMOEDYA ANANTA TOER
Le Monde des hommes
–
Buru Quartet I
Enfant de toutes les nations
–
Buru Quartet II
Une empreinte sur la terre
–
Buru Quartet III
La Maison de verre
–
Buru Quartet IV
traduits de l’indonésien
par Dominique Vitalyos
DAVID TOSCANA
L’Armée illuminée
El último lector
Un train pour Tula
traduits de l’espagnol (Mexique)
par François-Michel Durazzo
ROSA MARIA UNDA SOUKI
Ce que Frida m’a donné
traduit de l’espagnol (Venezuela)
par Margot Nguyen Béraud et l’auteure
LAURENCE VILAINE
La Géante
ABDOURAHMAN A. WABERI
La Divine Chanson
PAUL WENZ
L’Écharde
BENJAMIN WOOD
Le Complexe d’Eden Bellwether
traduit de l’anglais (Royaume-Uni)
par Renaud Morin
ZHANG YUERAN
Le Clou
traduit du chinois
par Dominique Magny-Roux
L’Hôtel du Cygne
traduit du chinois
par Lucie Modde
Snapshots–Nouvelles voix du Caine Prize
traduit de l’anglais par Sika Fakambi
Si vous désirez en savoir davantage sur Zulma ou être régulièrement informé de
nos parutions, n’hésitez pas à nous écrire ou à consulter notre site.
www.zulma.fr
TABLE DES MATIÈRES
Couverture
Présentation de
Contre-atlas de l’Intelligence artificielle
Présentation de Kate Crawford
Présentation des éditions Zulma
Page de copyright
Contre-atlas de l’Intelligence artificielle
Introduction
LE CHEVAL LE PLUS INTELLIGENT AU MONDE
L’IA N’EST NI ARTIFICIELLE NI INTELLIGENTE
VOIR L’IA COMME UN ATLAS
TOPOGRAPHIES COMPUTATIONNELLES
EXTRACTION, POUVOIR ET POLITIQUE
notes
1. La Terre
LES MINES DE L’IA
PAYSAGES COMPUTATIONNELS
LA COUCHE MINÉRALOGIQUE
LACS NOIRS ET LATEX BLANC
LE MYTHE DE LA TECH PROPRE
LA COUCHE LOGISTIQUE
L’IA COMME MÉGAMACHINE
notes
2. La main-d’œuvre
PRÉHISTOIRES DE L’IA SUR LE LIEU DE TRAVAIL
L’IA POTEMKINE ET LES TURCS MÉCANIQUES
VISIONS DU DÉSASSEMBLAGE ET DE L’AUTOMATISATION DU LIEU DE TRAVAIL : BABBAGE, FORD ET
TAYLOR
LE MARCHÉ DE LA VIANDE
GÉRER LE TEMPS, PRIVATISER LE TEMPS
LE TEMPS PRIVÉ
FIXER LE RYTHME
notes
3. Les données
ENTRAÎNER LES MACHINES À VOIR
UNE BRÈVE HISTOIRE DE LA DEMANDE DE DONNÉES
CAPTURER LE VISAGE
D’INTERNET À IMAGENET
LA FIN DU CONSENTEMENT
MYTHES ET MÉTAPHORES DES DONNÉES
L’ÉTHIQUE VUE DE LOIN
LA CONQUÊTE DES BIENS COMMUNS
notes
4. La classification
LES SYSTÈMES DE LOGIQUE CIRCULAIRE
LES LIMITES DES SYSTÈMES DÉBIAISANTS
LES NOMBREUSES DÉFINITIONS DU BIAIS
LES ENSEMBLES D’ENTRAÎNEMENT COMME MOTEURS DE CLASSIFICATION : LE CAS D’IMAGENET
LE POUVOIR DE DÉFINIR LA « PERSONNE »
CONSTRUIRE LA RACE ET LE GENRE
LES LIMITES DE LA MESURE
notes
5. Les affects
LES PROPHÈTES DE L’ÉMOTION : QUAND LES SENTIMENTS PAIENT
« LE PLUS CÉLÈBRE LECTEUR DE VISAGES AU MONDE »
LES AFFECTS : DE LA PHYSIOGNOMONIE À LA PHOTOGRAPHIE
CAPTURER LES SENTIMENTS, OU L’ARTIFICE DES ÉMOTIONS JOUÉES
LES NOMBREUSES CRITIQUES DES THÉORIES D’EKMAN
POLITIQUE DES VISAGES
notes
6. L’État
MISE EN PLACE DE LA
THIRD OFFSET.
STRATEGY
LE PROJET MAVEN
L’ÉTAT EXTERNALISÉ
DES POINTS DE CRÉDIT TERRORISTE AUX POINTS DE CRÉDIT SOCIAL
LA BOTTE DE FOIN
notes
Conclusion. Le pouvoir
JEUX SANS FRONTIÈRES
LES PIPELINES DE L’IA
LA CARTE N’EST PAS LE TERRITOIRE
